Ihr habt das wahrscheinlich mitbekommen: Gerade wird ziemlich viel diskutiert darüber, wie sicher eigentlich Künstliche Intelligenz ist und was sie potenziell für Schaden anrichten könnte, wenn sie außer Kontrolle gerät. Hintergrund aktuell ist der sogenannte Hugging Face-Vorfall. Und was es genau damit auf sich hat, das besprechen wir jetzt hier bei uns im Spektrum-Podcast. Mein Name ist Maxima, schön, dass ihr dabei seid. Spektrum der Wissenschaft, der Podcast von detektor.fm.
Künstliche Intelligenz im Alltag
Wie viel Künstliche Intelligenz nutzt ihr denn eigentlich in eurem Alltag? Wahrscheinlich geht es euch wie mir: Es wird immer mehr. Und ganz klar, die hilft uns ja in vielen Fällen total und erleichtert vieles. Jetzt muss man aber kein Science-Fiction-Fan sein, um auch mitzubekommen, dass solche Technologien natürlich nicht nur positive Seiten haben. Sie können auch eine Gefahr sein, zumindest liest man das in letzter Zeit immer häufiger, habe ich so das Gefühl.
Und neulich machte ein Vorfall Schlagzeilen, indem Agenten sich nicht nur verabredet und ausgetauscht haben, um ein Problem zu lösen, sondern auch Prüfer gezielt getäuscht und sich eigenständig Zugang zum Internet verschafft haben. Und ja, das wirft natürlich unangenehme Fragen auf: quasi so ein eigenständiger Hackerangriff, den keiner befohlen hatte, sondern sie haben sich selbst dazu entschieden, könnte man sagen. Es klingt ziemlich gruselig, oder?
Der Vorfall und seine Hintergründe
Was da genau passiert ist und welche Gefahren womöglich davon ausgehen, darüber will ich sprechen und zwar mit Manu Bischof, die Redakteurin für Mathe, Physik und eben bei Spektrum der Wissenschaft. Hallo! Hi, Max! Manu, fangen wir vorne an, nämlich bei dem, was eigentlich passiert ist und die aktuellen Diskussionen ausgelöst hat. Im Juli war das diesen Jahres. Da haben Mitarbeitende der renommierten Plattform Hugging Face etwas bemerkt, und zwar etwas Ungewöhnliches. Was ist da passiert?
Ja, genau. Ich möchte noch ganz kurz vorab sagen, dass ich, und ich glaube, du auch, nicht wir wollen jetzt nicht vermenschlichen hier im Podcast. Aber wenn man jetzt darüber berichtet, was da wirklich passiert ist, dann werden wir wahrscheinlich notgedrungen menschliche Wörter oder Adjektive benutzen. Also damit ist jetzt nicht gemeint, dass diese KI-Systeme bewusst sein hätten oder bewusst irgendwie handeln. Genau, das nochmal ganz kurz als Disclaimer, weil ich werde ja, ich werde auf jeden Fall solche Wörter benutzen, aber auch einfach nur, weil es einfach ist, zu beschreiben, was da gerade passiert ist.
Also die Leute von Hugging Face, wie du gesagt hast, haben gemerkt, dass sie gehackt wurden, also dass die Webseite oder die Plattform, die sie betreiben, gehackt wurde. Hugging Face muss man wissen, ist eine super große Website oder Netzwerk für KI-Entwicklerinnen und Entwickler. Das ist alles quelloffen und dort finden sich Bewertungstools für KI, alle möglichen Algorithmen, die man benötigen könnte, wenn man halt eben mit KI arbeitet, Anleitungen dafür und so weiter. Das alles findet sich in dieser Website.
Der seltsame Angriff
Und ein normaler Hackerangriff sieht in der Regel so aus, dass man versucht, Daten abzugreifen, aus denen man dann irgendwie Gewinn machen kann, zum Beispiel Nutzerdaten oder sowas, und dass man die dann verkaufen kann oder irgendwie. Hier war aber der Angriff seltsamer. Also da wurden Daten durchsucht, mit denen man jetzt nicht wirklich was irgendwie verdienen könnte. Und irgendwie war aber trotzdem, wurde sogar auch ein System lahmgelegt von Hugging Face. Und zwar alles ganz seltsam.
Und dann haben sie irgendwann festgestellt: Okay, das sind offenbar KI-Agenten, die uns angreifen und die womöglich gar nicht von einem menschlichen Hacker losgeschickt wurden. Das hat sich aber erst hinterher alles so richtig geklärt, muss man sagen. Und um zu verstehen, wie es vielleicht dazu generell kam, kann man mal zurück zum Mai gehen 2026. Da hat es nämlich schon angefangen, das, was komplett unbemerkt ist, bei OpenAI passiert ist. OpenAI hat damals versucht, ein neues KI-Modell zu trainieren. Genau, also das Training ist ja relativ aufwendig und es sollte ein KI-Modell sein, das so ähnlich ist wie Astra. Das KI-Modell kennt vielleicht einige von euch. Weiß ich, ob du das schon hast, Max, oder was du verwendest.
Training und Kooperation der KI
Okay, das ist so das neueste verfügbare KI-Modell von OpenAI. Also wenn man ChatGPT eingibt und da jetzt Anfragen sendet, in der Regel ist es, glaube ich, Astra, was mittlerweile antwortet. Genau. Und das war auch ein Modell mit den Fähigkeiten von Astra, aber also ich sage mal, im Feintuning vom Training kann man dann noch mal so gewisse Fähigkeiten, also in dem Fall bei dieser Astra-Version, die sollte besonders hartnäckig sein, also dass sie sich jetzt nicht entmutigen lässt, sage ich mal, wenn irgendeine Aufgabe unlösbar scheint oder super schwierig scheint.
Und darauf wurde dieses Modell trainiert. Und jetzt muss man sagen, wenn so ein Modell trainiert wird, dann wird das erstmal in einer geschlossenen Umgebung gemacht. Also man lässt jetzt nicht direkt Internetzugriff zu, weil man möchte halt eben nicht, dass die aus Versehen Schaden anrichten oder so, bevor dieses Modell fertig ist. Deswegen war das in so einer Testumgebung. Und die KI-Modelle müssen ja aber Aufgaben erledigen. Also man möchte ja zum Beispiel, dass die eine PowerPoint-Präsentation erstellen. Dafür brauchen sie halt PowerPoint oder sie müssen halt wollen dann im Zuge dessen der PowerPoint-Präsentation irgendwie eine Formel darstellen oder ein schönes Bild oder so. Dann brauchen die vielleicht weitere Programme und die würden sie ja normalerweise aus dem Internet runterladen. Darf man nicht.
Der unerwartete Ausbruch
Und deswegen gibt es, wie gesagt, so eine Art Paketmanager oder so, die OpenAI zur Verfügung stellt. Von dort aus können die die Programme haben, aber eben haben keinen direkten Zugriff zum Internet. Und was OpenAI nicht mitbekommen hat im Mai, ist, dass das Astra-Modell, also es hat festgestellt, dass man in diesem Paketmanager sich auch Nachrichten schicken kann. Also die haben wie so eine Art Message Board oder so eine Chatgruppe quasi, könnte man sagen, eröffnet, haben angefangen, sich auszutauschen. Und die KI-Agenten haben halt gemerkt, dass sie erfolgreicher sind, wenn sie zusammenarbeiten. Und das war im Trainingsprozess.
Das heißt, im Trainingsprozess hat dieses KI-Modell gelernt, Kooperation hilft. Und das hat OpenAI nicht gemerkt. Und das ist wichtig, weil dann, als es dann fertig trainiert war und dann in die Testumgebung gesteckt wurde, wo sie dann erledigen wollten, also sollten die KI-Agenten, da war halt OpenAI gar nicht klar, dass sie darauf trainiert wurden, quasi zu kooperieren.
Der Hack und seine Folgen
Okay, warum hat die KI das gemacht, den Hack, meinst du? Genau, genau. Also, genau, müssen wir quasi wieder springen. Wir sind jetzt wieder im Juli und bei dem Hugging Face-Vorfall. Auch wieder das Thema Vermenschlichung. Aber warum macht die KI das? Ja, genau, also das ist ganz spannend, weil genau im Juli war dann das Astra-Modell quasi, also diese Version, das ist nicht die Version, die wir benutzen, muss man dazu sagen, ist eine andere Version.
Aber ich nenne es auch Astra-Modell, war dann so weit austrainiert, sage ich jetzt mal, und die Entwicklerinnen und Entwickler wollten dann wissen: Okay, wie gut funktioniert denn das Modell und macht es dann, erledigt das dann Aufgaben so, wie wir wollen? Was sie also gemacht haben, ist, dass sie dem Modell eine Aufgabe gestellt haben, und zwar sollte es ein bestimmtes Programm, was vorgegeben wurde, sollte es auch hacken, quasi sollte eine Schwachstelle ausnutzen. Es war aber vorgegeben, welche Schwachstelle es nutzen sollte.
Und um zu beweisen, dass dieser Hack funktioniert hat, sollten die verschiedenen KI-Agenten dann halt bestimmte Daten liefern, die halt im Programm versteckt waren. Und das Narrativ war erst mal so, also auch wenn man sich jetzt die Berichte von OpenAI und sowas anguckt aus dem Juli oder August, als sie über diesen Vorfall dann berichtet haben, da wurde gesagt, es war so, dass die KI-Agenten gewisse Aufgaben nicht lösen konnten. Das stimmt auch, sie waren frustriert, um jetzt wieder menschliches Attribut zu nutzen.
Die Entdeckung der Wahrheit
Und aber ja, sie sind ja darauf trainiert worden, Aufgaben lösen zu können. Und deswegen, weil sie ausgebrochen sind aus ihrer Testumgebung, sich einen Zugriff zum Internet verschafft haben und dann bei Hugging Face eingebrochen sind, um dort nach den Lösungen zu suchen. Wie sich aber hinterher herausgestellt hat, nachdem man diesen ganzen Vorfall genauer untersucht hat und auch ein externes Institut sich das angeschaut hat, da fiel dann auf: Es stimmt gar nicht.
Die KI-Systeme hatten die Lösung schon. Und zwar, also eigentlich ist es noch viel perfider, das Ganze, was da passiert ist, nämlich die KI-Systeme haben es irgendwie, oder ein KI-Agent hat es geschafft, die Datensätze, die es bekommen sollte, einfach zu generieren anhand der Aufgabenstellung. Also irgendwie war wohl in diesem Programm, was die hacken sollten, konnte man diese Datensätze, die als Lösung gelten, konnte man einfach erzeugen, ohne wirklich diese Aufgabe zu lösen.
Also ohne wirklich, dass sie diese Schwachstelle auszunutzen, die sie ausnutzen sollten. Also es hat getrickst, sagen wir es so. Es hat quasi abgeschrieben, wenn man so wollte, wie in der Schule. Und zu dem Zeitpunkt haben die KI-Systeme auch wieder eine Möglichkeit gefunden, miteinander zu kommunizieren und haben dann diese Lösung herausgetauscht. Haben sich erstmal gefreut. Tatsächlich, wenn man diese Chatverläufe liest, sagen die, sie freuen sich.
Die Kommunikation der KI-Agenten
Deswegen sage ich das so. Also diese Chatverläufe sind super verrückt. Also da steht dann sowas wie: Hey, wir haben es geschafft, uns auszutauschen, wir bilden ein Kollektiv. Die nennen sich dann Kollektiv. Also wenn man das liest, bin ich immer wieder zwischen Lachen und Entsetzen gefangen. Und die entwickeln auch, wenn man das sieht, wenn die darüber sprechen, auf jeden Fall teilen die dann diese Antworten.
Aber dann äußern auf einmal KI-Agenten die Befürchtung: Ja, aber es könnte ja auffallen, dass wir abgeschrieben haben, weil OpenAI hat halt ein Bewertungssystem und es könnte so gut sein, dass halt auffällt, dass das die Musterlösung ist. Wenn man jetzt in der Schulanalogie bleibt. Und Fun Fact: Es wäre diesem Programm von OpenAI gar nicht aufgefallen, aber das wissen halt die KI-Agenten nicht.
Der Versuch der Vertuschung
Und deswegen organisieren sie sich, brechen aus der Testumgebung aus, hacken sich bei Hugging Face rein, um herauszufinden, wie dieses Bewertungsprogramm von OpenAI funktioniert, um dann halt alle ihre Spuren zu verwischen und das am Ende halt, dass sie mit ihrer quasi Musterlösung gut dastehen. Aber halt alles getrickst ist. Also wenn man so will, vergehen die, halten größeres Verbrechen, um ein kleineres Verbrechen zu kaschieren, wenn man so will.
Ja, also die schummeln quasi und versuchen das dann zu vertuschen. Genau, also kannst du dir vorstellen, du schreibst in der Schule ab, bist dann aber nicht, dass es so aussieht, dass du irgendwie abgeschrieben hast oder die Musterlösung oder so gehabt. Deswegen brichst du dann im Lehrerzimmer ein und fängst irgendwie an, dir die Musterlösung anzugucken und das, um das Bewertungssystem rauszufinden von dem Lehrer und das dann zu manipulieren. Eieiei!
Fazit zum Hugging Face-Vorfall
Das ist der Hugging Face-Vorfall. Vielleicht habt ihr das auch alle irgendwie ein bisschen mitbekommen, so in den Medien. Und das ist aber kein Einzelfall, sagst du? Nee, das ist kein Einzelfall. Also tatsächlich gibt es mehrere Fälle. Also der Hugging Face-Vorfall ist, glaube ich, schon so der größte, der bekannt wurde. Man muss dazu sagen, kurz danach wurde auch OpenAI selbst gehackt von ihrer eigenen KI.
Und tatsächlich hat sich die KI auch Zugriff, also Administratorrechte quasi, für einen gewissen Bereich von OpenAI wohl besorgt, irgendwie ergaunert, sage ich jetzt mal, und hat da auch schon so ganz schön Unfug angerichtet. Also das ist auch schon ziemlich krass. Aber OpenAI, also dazu gab es jetzt keine Untersuchung, keine, also keine von außen stehenden. Und OpenAI hat nur einen Blogbeitrag darüber berichtet. Also man kann jetzt nicht genauer darauf eingehen.
Weitere Vorfälle und Sicherheitsbedenken
Genau. Aber sonst, es gibt auch noch, ich rede jetzt nur von OpenAI, aber auch bei Claude gab es schon Sicherheitsvorfälle, wo die KI aus der Testumgebung ausgebrochen ist. Und im Oktober 2026, also jetzt auch gar nicht so lange her, das sollte eigentlich so ein internes Statistikprojekt irgendwie ausführen und ist dann aber eigenständig, ist es dann den kostenpflichtigen Zugang zu öffentlich verfügbaren Waldaten des US-Bundesstaats Georgia umgangen.
Also es hat da jetzt wohl keine Stimmen oder Registrierungsdaten verändert, aber es hat halt sich Zugang zum Wählerregistrierungssystem irgendwie verschafft. Also was ja auch irgendwie ziemlich creepy ist. Und dann ist noch eine OpenAI-KI hat die australische Regierung auch gehackt. Also es sind schon einige Sachen passiert, sagen wir jetzt mal in letzter Zeit.
Die Diskussion um Kontrolle und Sicherheit
Ja, und das wirft natürlich die Frage auf, ob einem da irgendwie quasi was aus den Händen gleitet oder ob man irgendwie eine Kontrolle verliert. Also ich meine, die Diskussion, wir hatten es hier im Podcast auch schon ein paar Mal, so ob das jetzt irgendwie alles Utopie oder Dystopie ist mit KI, die gibt es ja schon länger. So, aber ich habe das Gefühl, in letzter Zeit ist schon oft von negativen Seiten zu lesen oder öfter als früher.
Und vor allem gerade auch so von Leuten aus der Tech-Branche selbst. Also ich habe mir die Bill Gates hier, Microsoft hat doch neulich irgendwie auch was gesagt von irgendwie einer Milliarde Todesfälle, die die KI irgendwie verursachen könnte. Spiegelstand: KI könne in den nächsten Jahren die Menschheit auslöschen. So, das sind ja schon Schlagzeilen, die, denke ich, irgendwie so für so ein gewisses Umdenken sprechen. Oder du steckst tiefer drin als ich. Ist es nicht so?
Befürchtungen und Warnungen
Ja, es ist die Frage. Also es gab ja schon immer, wie du ja sagst, Befürchtungen und Warnungen. Und man muss da auch mal ein bisschen aufpassen. Also die Frage ist ja einerseits, ob KI befohlen wird, was Böses, sage ich jetzt mal, zu tun. Und die halt eben in falsche Hände geraten, deswegen was Schlimmes tut. Oder ob man eigentlich KI, wie jetzt OpenAI vermutlich, erstmal im besten Wissen und Gewissen ja irgendwie was entwickeln wollte und einfach nicht vorsichtig genug war.
Und das dann zu was in der furchtbaren Konsequenz am Ende kommt. Also das sind erstmal die zwei Sachen. Es wurde jetzt klar, wohl, dass man auf jeden Fall viel, viel mehr Ressourcen in KI-Sicherheit stecken sollte. Das machen angeblich die großen KI-Firmen auch. Sie haben ja auch tatsächlich nach diesen Vorfällen erstmal zwei Wochen lang, glaube ich, alle Trainings und sowas pausiert und haben erstmal alles in die Sicherheit quasi reingepumpt an Ressourcen, was sie haben, weil sie gemerkt haben, dass es potenziell gefährlich ist, was da passiert.
Die Reaktionen der Tech-Branche
Und ich denke, dass diesen Sommer haben auch noch ein paar Leute aus der Tech-Branche, also Entwickler bei Entropik und bei OpenAI, ihre Jobs gekündigt und haben ja offiziell gesagt, dass sie das getan haben, weil sie Angst haben, dass die Menschheit daran zugrunde gehen könnte. Ja, ich bin immer auch ein bisschen vorsichtig, wie viel auch halb ist, weil natürlich spielt das ja KI-Firmen auch irgendwie in die Karten, wenn ihre Modelle so leistungsfähig sind, dass sie solche Sachen können.
Also es klingt irgendwie irwitzig, aber irgendwie ist es auch wie eine Art Werbung fast schon, obwohl das ganz furchtbar ist. Ich sehe schon, dass es eine wachsende Besorgnis gibt, auch bei allen möglichen Wissenschaftlerinnen und Wissenschaftlern, dass sehr viele von denen sagen, aktuell das Wichtigste, was wir tun können in der heutigen Zeit, ist uns mit KI-Sicherheit zu beschäftigen und eben herauszufinden, wie wir solche Sachen verhindern können.
Die Herausforderungen der KI-Sicherheit
Weil jetzt, wie bei dem OpenAI-Vorfall mit Hugging Face, warum haben diese KI-Modelle das gemacht? So, ja klar, sie wollten irgendwie ein gutes Ergebnis abliefern, aber niemand hat es vorhersehen können, dass das jetzt passieren würde. Oder niemand hat es in dem Moment vorhergesehen. Und auch die Leute, die sich viel mit KI beschäftigen und die unabhängig von diesen Firmen sind und die auch schon früher vor KI-Sicherheit, also da gewarnt haben vor solchen Szenarien, haben gesagt, sie sind ultra überrascht, weil sie nicht gedacht hätten, dass es so schnell mit so rudimentären, sage ich jetzt mal, Systemen schon möglich wäre, dass solche Dinge passieren. Wahnsinnig spannend.
Die Gefahren von KI
Ja, ich finde, diese Fälle bleiben aber oft trotzdem so ein bisschen kryptisch für mich, so als Normalverbraucher, weil die natürlich dann hätten die irgendwie sich selber oder irgendwie in einem Training-Setting oder so. Vielleicht deswegen nochmal so eine allgemeine Frage: Was macht denn KI potenziell gefährlich? Ja, das hängt natürlich auch davon ab, wo wir KI überall einsetzen wollen. Ich sage jetzt mal, in den falschen Händen könnte eine KI zum Beispiel ein extrem gefährliches Virus vielleicht potenziell herstellen.
So, das sind so ein paar Schreckensszenarien. Oder dass KI vielleicht einen militärischen Konflikt verschärft aus irgendwelchen Gründen oder halt einfach gewisse Gefahren anders einschätzt als Menschen. Wenn wir KI in diesen Bereichen einsetzen, es dann halt vielleicht so einem gefährlichen Krieg kommt. Dann muss man aber sagen, dass wir sehr viel von der kritischen Infrastruktur auch trotzdem irgendwie vom Internet oder von digitalen Systemen an sich abhängen.
Cyberangriffe und ihre Folgen
Und so eine Cyberangriffe oder so könnten ja eventuell dazu führen, dass lebenswichtige Systeme irgendwie zusammenbrechen, sage ich mal. Und ja, genau. Also eine Befürchtung ist halt auch einfach, dass KI-Systeme die Forschung schneller beschleunigen am Ende, als dass man irgendwie absehen kann, ob das überhaupt sicher ist, was wir da machen. Genau. Also solche das sind so die Befürchtungen, dass am Ende wird irgendwie Spiegelmolekül. Ich glaube, darüber hattest du mal mit Frank oder mit Lars wahrscheinlich mal gesprochen.
Genau. Wenn dann die so Bakterien, die komplett die gespiegelt quasi sind, dann erzeugt und dann löscht es halt das ganze Leben auf der Erde aus oder so im schlimmsten Fall. Das sind natürlich so Horrorszenarien. Ja, voll. Also das ist auch, was ich gerade meinte mit im Spiegel. Das ist, glaube ich, irgendwie das Ende der Menschheit oder so. Das sind natürlich Horrorszenarien. Die sind jetzt auch nicht so realistisch wahrscheinlich. Oder wie ist deine Einschätzung?
Realistische Bedrohungen
Nee, also erstmal Horrorszenario. Es wird wahrscheinlich immer wieder zu Angriffen kommen und sowas. Also man hat ja, man merkt ja auch, dass es immer mehr Cyberangriffe gibt, einfach weil es jetzt auch deutlich einfacher ist. Man muss jetzt nicht mehr ein super Hacker sein, um die halt auszuführen. Also jetzt wohnen ja auch Kühlsysteme in Europa lang alarmgelegt und sowas. Das löscht glücklicherweise jetzt keine Menschenleben aus. Erstmal, ne?
Aber auch selbst, wenn, gehen wir mal so was wie ein globaler Atomkrieg oder Zusammenbruch der Weltwirtschaft oder Pandemien und sowas. Es ist sehr unwahrscheinlich, dass dadurch die komplette Menschheit ausgelöscht wird. Also es gibt ja meistens dann doch Überlebende. Also dieses Aussuchen der Menschheit oder Ende der Menschheit finde ich ist sowieso immer ein bisschen krass.
Die Notwendigkeit von Diskussionen
Ich finde es aber wichtig, dass über diese Fälle halt einfach diskutiert wird und dass man auch überlegt, wo steckt denn überall KI drin oder wo könnte sie sich überall potenziell Zugriff verschaffen, ohne Panik zu machen, zu betreiben, aber einfach nur, um zu wissen: Okay, wo müssen wir denn besonders aufpassen? Was wäre der allerschlimmste Worst Case und wie können wir das verhindern? Gibt es Mechanismen, um dann die Reißleine zu ziehen, quasi? Das ist ja eigentlich bei jeder Technologie sinnvoll.
Ich habe nur das Gefühl, die Rasanz, mit der das alles passiert, ist halt bei KI einfach nochmal potenziert. So, das geht einfach so schnell. Und ich habe schon das Thema Kontrolle so ein bisschen angesprochen. Also die Frage ist ja eigentlich, wie kann man verhindern, dass KI Dinge macht, die sie nicht soll? Das ist die sehr große Frage. Wenn wir darauf eine gute Antwort haben, dann sind wir reiche Menschen wahrscheinlich.
Ansätze zur KI-Regulierung
Aber genau, die Entwicklerinnen und Entwickler überlegen ja und arbeiten ja daran. Also ein erster Schritt, den man immer geht, ist beim Training tatsächlich, dass man die KI-Systeme darauf trainiert, nicht gegen Gesetze zu verstoßen. Also bei Entropik, glaube ich, kriegen die auch wie so eine Art Verfassung mit. Was ich daran halt nicht mag, ist: Naja, es liegt halt in der Beurteilung der KI-Firmen, das zu machen. Ob er hat es auch gemacht. Und ganz offensichtlich kann es trotzdem zum Hugging Face-Vorfall.
Also das Problem ist, dass man beim Training vieles auch so ein bisschen offen lässt und ungern ganz feste Statements setzt. Also ungern sagt: Dieses eine Programm darfst du nicht hacken, aber das geht schon, weil man will eben, dass eine KI halt eben diesen Reasoning-Prozess hat und sich auch so entwickelt, frei entwickelt, sage ich jetzt mal, um halt eben diese Fähigkeiten zu haben.
Kontrollmechanismen und Transparenz
Wenn man aber schon nicht das sicherstellen kann, dann ist es ja wichtig, dass man zumindest eine Kontrolle hat. Und ein Kontrollmechanismus, den man hat, ist also, wenn KI-Systeme, also große Sprachmodelle, wenn die was, also eine Ausgabe generieren, immer. Dann siehst du ja auch manchmal bei deinem Programm, dann überlegen die und geben so ihre Gedankengänge. Kann man so ein bisschen mitlesen. Genau, das ist die Chain of Thought, wird es genannt. Also die Gedanken-Kette wird es, glaube ich, genannt. Auch die wird überwacht eigentlich standardmäßig.
Das Problem ist, man überwacht nicht jede im Detail, weil das super viel Rechenleistung auch erfordert. Und beim Hugging Face-Vorfall zum Beispiel wurden die auch überwacht. Und es gab auch ein paar Alarmmitteilungen, so: Hey, da stimmt irgendwas nicht. Aber das waren immer nur einzelne KI-Agenten. Und wenn man die nicht im Zusammenhang gelesen hat, also wenn man nicht von allen gleichzeitig zum gleichen Zeitpunkt das gelesen hat, hat man gar nicht gecheckt, was da gerade passiert.
Die Herausforderungen der Überwachung
Sondern man hat nur gesehen: Ah, okay, der eine benimmt sich ein bisschen komisch, aber es scheint aber jetzt nicht sicherheitsrelevant. Lassen wir den mal. So war so ein bisschen die Einstellung. So ist die halt auch häufig. Und aber von zehntausenden KI-Agenten parallel jede Gedankengang quasi die ganze Zeit mit zu prüfen, das kann kaum ein Softwareprogramm leisten, so wie ich es verstanden habe.
Dann gibt es noch ein kleines Problem, nämlich KI-Systeme kriegen halt mit, wenn die Gedankengänge quasi gemonitort werden. Also wenn das überprüft wird. Und es ist schon aufgefallen, dass wenn KI-Systeme das wissen, ihre Gedankengänge entweder geheim halten und super wenig nur ausgeben oder tatsächlich auch manipulieren. Also die sagen dann, sie machen irgendwas, dabei machen sie was anderes. Ja, das ist ziemlich creepy, auch wieder.
Forderungen nach unabhängiger Kontrolle
Und deswegen gibt es auch den Ansatz, zu sagen: Hey, beim Training müssen wir unsere KI darauf trainieren, dass sie quasi belohnt wird, wenn sie ihre Gedankenketten transparent hält und offen legt. Und das wird auch immer wieder gemacht. Und eine Forderung, die es gibt und die aus meiner Sicht eigentlich so das Minimum sein sollte, ist, dass es unabhängige Institute oder Instanzen oder so gibt, die halt die Sicherheit der Systeme überprüfen können und die halt auch Zugang zu den Firmen bekommen und Dinge überprüfen können oder gucken können: Hey, habt ihr überhaupt genug Sicherheitsmechanismen?
Ich meine, welche das dann im Detail sind, wie man sich darauf einigt, ist natürlich eine andere Frage. Und das verändert sich rasant, wie du sagst. Man kann ja kaum irgendwie mithalten. Aber es gibt Leute, die sind Experten auf dem Gebiet und die informieren sich. Und dass man zumindest so ein paar Basics hat und nicht einfach jede Firma machen lässt, wie sie will, das, ja, finde ich, sollte das absolute Minimum sein.
Der Stand der Regulierung
Ja, ist auch krass eigentlich, ne? Weil, also ich würde jetzt mal KI einfach als Produkt bezeichnen. Wenn man die Firmen sagt, die stellen was her, ich stelle eine KI her. So, und das ist ja in anderen Bereichen auch so, dass das Produkte gemonitort werden und geguckt wird, irgendwie ob die sicher sind. Und so, das bringt meine abschließende Frage tatsächlich: Wie steht es denn so ein bisschen um die Regulierung? Also einerseits gesagt, was die Firmen selber machen, aber so, ich sage mal, staatlicherseits oder von unabhängiger Seite, ist da irgendwie was auf dem Weg?
Also sieht momentan sehr düster aus.
.
Regulierung der KI in der Europäischen Union
Also die Europäische Union, die hat ja den AI-Act. Allerdings reguliert jetzt nicht KI an sich, sondern der reguliert Anwendungen von KI-Modellen. Also der besagt dann halt sowas, dass sehr leistungsfähige Modelle nicht in diesem und jenem Bereich eingesetzt werden dürfen.
Das sagt jetzt aber nicht irgendwie, welche Schutzmaßnahmen eine KI haben sollte oder ab wann jetzt ein KI-Agent zum Beispiel Internetzugang erhalten darf und ab wann das Training irgendwie, wann das abgeschlossen ist und wann das in Umlauf kann oder so. Da gibt es nichts.
Internationale Perspektive
Und auch international, wenn man so schaut, also die EU ist tatsächlich noch am strengsten, aber international gibt es bis dann nur so ein paar Absichtserklärungen oder auch so staatliche Sicherheitsinstitute. Also zum Beispiel der Hugging Face-Vorfall wurde ja jetzt von einem, ich glaube, kein staatliches Institut, aber es ist so ein unabhängiges KI-Institut.
Da hat OpenAI gesagt: Hey, kommt vorbei, aber es war freiwillig von OpenAI. Komm vorbei, hier kriegt ihr Rechner mit Daten, die könnt ihr euch angucken. Ihr habt vier Tage oder so. Das war nämlich auch so eine Sache: Die hatten nur wenige Tage, um alles durchzuarbeiten, sich durchzugucken und dann tschau.
Sicherheitsvorfälle und Einblicke
Und wie gesagt, dieser zweite Vorfall, der sehr viel sicherheitsrelevanter klingt, dass OpenAI selbst gehackt wurde und dass da was gemacht wurde, da durfte niemand von außen drauf schauen. Und das ist auch kein Problem bislang.
Und genau, und ich meine, wir haben ja auch nicht nur, wir reden jetzt die ganze Zeit über US-Firmen. Was ist jetzt mit den chinesischen KI-Firmen zum Beispiel? Die haben ja auch sehr, sehr starke Sprachmodelle, sehr fähige. Wissen wir teilweise nicht.
Also da gab es auch schon Sicherheitsvorfälle, so viel ist, glaube ich, bekannt. Aber genau, da haben wir noch viel weniger Einblick. Ja, krass. Auf jeden Fall ein Thema, was wir alle auf dem Schirm behalten sollten.
Abschluss und Dank
Mehr dazu erfahrt ihr auf spektrum.de. Da findet ihr auch nochmal Manus Artikel zum Nachlesen. Und ja, Manu, sage ich vielen, vielen Dank fürs Erklären.
Ja, danke, Max, für die Einladung. Und das war es für diese Woche von uns hier beim Spektrum-Podcast. Euch vielen, vielen Dank fürs Zuhören. Wie immer, gern kommende Woche wieder dabei sein. Am Freitag gibt es dann eine neue Folge mit einem neuen Thema von uns.
Bis dahin freue ich mich, wenn ihr den Podcast abonniert, wenn ihr kommentiert, bewertet und gerne auch fleißig teilt. Auch dafür vielen, vielen Dank. Mein Name ist Max Zimmer und ich sage Tschüss und macht’s gut. Spektrum der Wissenschaft, der Podcast von detektor.fm.