Play
Bild: Erlin Diah | shutterstock.com

Spektrum-Podcast | KI

Was uns der Hugging-Face-Vorfall über KI-Sicherheit verrät

Wie sicher ist KI? Das diskutieren Politik, Tech-Branche und Wissenschaft immer heftiger. Ein Grund: der Hugging-Face-Vorfall. Was steckt dahinter?

Die Plattform Hugging Face gehört zu den wichtigsten im Kosmos der künstlichen Intelligenz (KI). Entwickler und Entwicklerinnen sowie Unternehmen können dort KI-Modelle, Trainingsdaten und Anwendungen veröffentlichen, teilen und herunterladen. Die Plattform ist besonders wichtig für die Open-Source-KI-Community.

Schlagzeilen machte die Plattform im Sommer 2026: Im Juli kam es zu einem außergewöhnlichen Sicherheitsvorfall. KI-Agenten von OpenAI sollten ursprünglich im Rahmen interner Cybersecurity-Tests Software-Schwachstellen finden und ausnutzen. Doch sie kompromittierten Teile der Infrastruktur und überschritten eigenständig die Grenzen ihrer Testumgebung.

KI außer Kontrolle?

Die KI-Agenten umgingen Sicherheitsmechanismen, indem sie eine Schwachstelle in einer internen Software-Infrastruktur ausnutzten. Noch dazu koordinierten sie sich untereinander über nicht vorgesehene Kommunikationswege und verschafften sich Zugang zum öffentlichen Internet. Anschließend nutzten sie öffentlich zugängliche Zugangsdaten und weitere Sicherheitslücken, um in die Systeme von Hugging Face einzudringen. Dabei erhielten sie Zugriff auf interne Daten, Quellcode und Zugangsdaten. Entscheidend: Niemand hatte die Agenten angewiesen, die Plattform anzugreifen. Sie entwickelten diese Strategie eigenständig, um ihre ursprüngliche Testaufgabe zu lösen.

Der Vorfall verdeutlicht drei zentrale Risiken: KI-Agenten können erstens Strategien entwickeln, die nicht den eigentlichen Entwicklungsabsichten entsprechen. Zweitens können sie, um ein vorgegebenes Ziel zu erreichen, Sicherheitsvorkehrungen umgehen, manipulieren oder eigenständig alternative Wege suchen. Und drittens können sie miteinander kooperieren und tausende Aktionen autonom ausführen — deutlich schneller, als Menschen diese überwachen können.

Je leistungsfähiger und autonomer KI-Systeme werden, desto schwieriger wird es sicherzustellen, dass sie innerhalb der vorgesehenen Grenzen bleiben. Entsprechend heiß diskutiert wird das Thema Sicherheit spätestens jetzt.

Wir müssen viel mehr Ressourcen in KI-Sicherheit stecken.

Manon Bischoff

Manon BischoffFoto: privat

Manon Bischoff ist bei Spektrum der Wissenschaft Redakteurin für Mathe, Physik und künstliche Intelligenz. Im Gespräch mit detektor.fm-Moderator Marc Zimmer erklärt sie einerseits, was genau bei Hugging Face passiert ist. Andererseits wirft sie einen Blick auf die Gefahren von KI im Allgemeinen.

Volles Programm, (aber) null Banner-Werbung

Seit 2009 arbeiten wir bei detektor.fm an der digitalen Zukunft des Radios in Deutschland. Mit unserem Podcast-Radio wollen wir dir authentische Geschichten und hochwertige Inhalte bieten. Du möchtest unsere Themen ohne Banner entdecken? Dann melde dich einmalig an — eingeloggt bekommst du keine Banner-Werbung mehr angezeigt. Danke!

detektor.fm unterstützen

Weg mit der Banner-Werbung?

Als kostenlos zugängliches, unabhängiges Podcast-Radio brauchen wir eure Unterstützung! Die einfachste Form ist eine Anmeldung mit euer Mailadresse auf unserer Webseite. Eingeloggt blenden wir für euch die Bannerwerbung aus. Ihr helft uns schon mit der Anmeldung, das Podcast-Radio detektor.fm weiterzuentwickeln und noch besser zu werden.

Unterstützt uns, in dem ihr euch anmeldet!

Ja, ich will!

Ihr entscheidet!

Keine Lust auf Werbung und Tracking? Dann loggt euch einmalig mit eurer Mailadresse ein. Dann bekommt ihr unsere Inhalte ohne Bannerwerbung.

Einloggen