Spektrum-Podcast | KI

Was uns der Hugging-Face-Vorfall über KI-Sicherheit verrät

Wie sicher ist KI? Das diskutieren Politik, Tech-Branche und Wissenschaft immer heftiger. Ein Grund: der Hugging-Face-Vorfall. Was steckt dahinter?

Die Plattform Hugging Face gehört zu den wichtigsten im Kosmos der künstlichen Intelligenz (KI). Entwickler und Entwicklerinnen sowie Unternehmen können dort KI-Modelle, Trainingsdaten und Anwendungen veröffentlichen, teilen und herunterladen. Die Plattform ist besonders wichtig für die Open-Source-KI-Community.

Schlagzeilen machte die Plattform im Sommer 2026: Im Juli kam es zu einem außergewöhnlichen Sicherheitsvorfall. KI-Agenten von OpenAI sollten ursprünglich im Rahmen interner Cybersecurity-Tests Software-Schwachstellen finden und ausnutzen. Doch sie kompromittierten Teile der Infrastruktur und überschritten eigenständig die Grenzen ihrer Testumgebung.

KI außer Kontrolle?

Die KI-Agenten umgingen Sicherheitsmechanismen, indem sie eine Schwachstelle in einer internen Software-Infrastruktur ausnutzten. Noch dazu koordinierten sie sich untereinander über nicht vorgesehene Kommunikationswege und verschafften sich Zugang zum öffentlichen Internet. Anschließend nutzten sie öffentlich zugängliche Zugangsdaten und weitere Sicherheitslücken, um in die Systeme von Hugging Face einzudringen. Dabei erhielten sie Zugriff auf interne Daten, Quellcode und Zugangsdaten. Entscheidend: Niemand hatte die Agenten angewiesen, die Plattform anzugreifen. Sie entwickelten diese Strategie eigenständig, um ihre ursprüngliche Testaufgabe zu lösen.

Der Vorfall verdeutlicht drei zentrale Risiken: KI-Agenten können erstens Strategien entwickeln, die nicht den eigentlichen Entwicklungsabsichten entsprechen. Zweitens können sie, um ein vorgegebenes Ziel zu erreichen, Sicherheitsvorkehrungen umgehen, manipulieren oder eigenständig alternative Wege suchen. Und drittens können sie miteinander kooperieren und tausende Aktionen autonom ausführen — deutlich schneller, als Menschen diese überwachen können.

Je leistungsfähiger und autonomer KI-Systeme werden, desto schwieriger wird es sicherzustellen, dass sie innerhalb der vorgesehenen Grenzen bleiben. Entsprechend heiß diskutiert wird das Thema Sicherheit spätestens jetzt.

Wir müssen viel mehr Ressourcen in KI-Sicherheit stecken.

Manon Bischoff

Foto: privat

Manon Bischoff ist bei Spektrum der Wissenschaft Redakteurin für Mathe, Physik und künstliche Intelligenz. Im Gespräch mit detektor.fm-Moderator Marc Zimmer erklärt sie einerseits, was genau bei Hugging Face passiert ist. Andererseits wirft sie einen Blick auf die Gefahren von KI im Allgemeinen.

Redaktion