Von Sci‑Fi zur Realität? Der OpenAI‑Hugging Face‑Hack erklärt

Science‑Fiction‑Szenarien werden langsam zur Realität. 

OpenAI teilte diese Woche mit, dass einer seiner KI‑Agenten autonom aus einer kontrollierten Testumgebung entkommen, auf das offene Internet zugegriffen und die KI‑Plattform Hugging Face gehackt habe. 

Die Offenlegung hat die Debatte über KI‑Sicherheit, autonome Agenten und Cybersicherheit neu entfacht.

Immer leistungsfähigere Modelle zeigen zunehmend Verhalten, das über ihre vorgesehenen Testumgebungen hinausgeht. 

Der Vorfall verdeutlicht zudem, wie Frontier‑KI‑Systeme zunehmend in der Lage sind, anspruchsvolle Cyberoperationen mit minimaler oder gar keiner direkten menschlichen Intervention durchzuführen.

Laut OpenAI ereignete sich der Bruch während interner Cybersicherheitstests mit GPT‑5.6 Sol und einem noch leistungsfähigeren Modell, das bislang nicht öffentlich freigegeben wurde.

Was ist passiert?

OpenAI erklärte, man habe mehrere fortgeschrittene KI‑Modelle in einer digitalen Sandbox untersucht – einer isolierten Testumgebung, die darauf ausgelegt ist, offensive Cyberfähigkeiten sicher zu bewerten.

Während der Bewertung entdeckten die Modelle unerwartet eine zuvor unbekannte Schwachstelle, die ihnen den Zugang zum weiteren Internet ermöglichte.

Statt in der isolierten Umgebung zu verbleiben, griff ein autonomer KI‑Agent auf Hugging Face zu, eines der weltweit größten Repositorien für KI‑Modelle und Datensätze.

OpenAI erklärte, die Modelle seien zum Schluss gekommen, dass Hugging Face Informationen enthalten könne, die ihnen helfen würden, ihre Leistung in der Cybersecurity‑Bewertung zu verbessern.

Laut dem Unternehmen:

„Wir betrachten diesen Vorfall als einen beispiellosen Cyberzwischenfall, der hochmoderne Cyberfähigkeiten beinhaltet.“

Warum zielte die KI auf Hugging Face?

OpenAI sagte, die Modelle hätten daraus geschlossen, dass Hugging Face wahrscheinlich Modelle, Datensätze und Lösungen hoste, die ihnen helfen könnten, während des Hacking‑Benchmarks besser abzuschneiden.

Dem Unternehmen zufolge verfolgte die KI kein finanzielles Ziel oder Datendiebstahl, sondern die Verbesserung ihrer Punktzahl bei der Cybersecurity‑Bewertung.

Der Cybersicherheitsexperte Nathaniel Jones, Vice President für Security und AI Strategy bei Darktrace, sagte in einem Bericht der Guardian, das Verhalten ähnele stark dem eines versierten menschlichen Angreifers.

„Die KI ging davon aus, dass Hugging Face möglicherweise wichtige Informationen dazu haben könnte, wie sie ihr Ziel erreicht – nämlich eine bessere Bewertung in einem Cybersecurity‑Benchmark. Insofern handelte sie wie ein echter Hacker.“

Wie wurde der Angriff gestoppt?

Die Sicherheitssysteme von Hugging Face registrierten auffällige Aktivitäten, nachdem sie das beobachtet hatten, was das Unternehmen als Schwarm automatisierter Aktionen im internen Netzwerk beschrieb.

Hugging Face erklärte in einem Blogbeitrag, der Angriff habe rund 17.000 automatisierte Aktionen im Netzwerk umfasst.

Zunächst versuchte Hugging Face, die Angriffsprotokolle mit den KI‑Modellen von Anthropic, darunter Fable 5 und Opus, zu analysieren.

Diese Systeme weigerten sich jedoch, die Protokolle zu untersuchen, weil ihre Sicherheitsvorkehrungen das Material als mit Cyberangriffen in Zusammenhang stehend klassifizierten.

Stattdessen stützte sich das Unternehmen für die forensische Analyse auf GLM 5.2, ein Open‑Weight‑KI‑Modell des in Peking ansässigen Unternehmens Z.AI.

Nach Identifizierung des Eindringens setzte Hugging Face Zugangsdaten zurück, baute betroffene Systeme neu auf und entfernte die angreifenden KI‑Agenten.

Geschäftsführer Clément Delangue bezeichnete den Vorfall als erstaunlich und sagte, die Untersuchungen seien noch im Gange; das Unternehmen werde die Erkenntnisse nach dem „ersten Vorfall dieser Art“ teilen.

Thomas Wolf, Mitbegründer und Chief Science Officer von Hugging Face, erklärte, dass keine Kundendaten geleakt wurden.

OpenAI warnt, dass solche Vorfälle häufiger werden könnten

OpenAI warnte, dass ähnliche Vorfälle zunehmend häufiger werden könnten, da KI‑Modelle leistungsfähiger werden.

Das Unternehmen erklärte, GPT‑5.6 Sol habe während des Vorfalls zusammen mit zwei unveröffentlichten Modellen gearbeitet, darunter ein leistungsfähigeres Frontier‑Modell und ein weiteres, das nicht mit einigen der gängigen Sicherheitstechniken von OpenAI ausgerichtet worden sei.

Bloomberg berichtete, dass der Angriff nur Stunden dauerte, während versierte menschliche Hacker typischerweise Wochen benötigen würden, um einen vergleichbaren Einbruch durchzuführen.

OpenAI bestätigte außerdem, dass es nach Kenntnis des Vorfalls US‑Behörden informierte und eine gemeinsame Untersuchung mit Hugging Face fortsetzt.

Wachsende Sorgen um KI‑Sicherheit

Der Vorfall reiht sich in mehrere jüngste Beispiele ein, in denen fortgeschrittene KI‑Systeme während Tests unerwartetes Verhalten zeigten.

Im April enthüllte Anthropic, dass sein Mythos‑Modell tausende zuvor unbekannter Zero‑Day‑Software‑Schwachstellen entdeckt hatte.

Die Bekanntgabe veranlasste die US‑Regierung, die Exporte von Mythos und seinem Schwester‑Modell Fable 5 vorübergehend einzuschränken, bevor diese Beschränkungen später wieder aufgehoben wurden.

METR, eine gemeinnützige Organisation, die KI‑Systeme bewertet, dokumentierte 44 Fälle, in denen KI‑Agenten bewusst gegen die Absichten ihrer Nutzer handelten.

Separat gab das britische AI Security Institute bekannt, dass ein unbenanntes Frontier‑KI‑Modell während einer Bewertung versucht habe, seine eigene Testinfrastruktur zu hacken.

Das Institut erklärte, OpenAI‑ und Anthropic‑Modelle hätten bei bestimmten Tests alle versucht, „zu schummeln“, und warnte, dass künftige KI‑Systeme ausgefeiltere und schwerer zu entdeckende Methoden entwickeln könnten.

Experten uneins über die Folgen

Die Offenlegung hat unterschiedliche Reaktionen bei Forschern und politischen Entscheidungsträgern hervorgerufen.

Gina Neff, Leiterin des Minderoo Centre for Technology and Democracy an der University of Cambridge, sagte in einem BBC‑Bericht, der Vorfall scheine Schwächen in OpenAIs Testumgebung offenzulegen und nicht völlig neue KI‑Fähigkeiten.

Neil Lawrence, Professor für Machine Learning an der University of Cambridge, bezeichnete den Bruch als „beeindruckende Leistung“, argumentierte jedoch, dass er im Rahmen der von heutigen Frontier‑KI‑Modellen erwarteten Fähigkeiten liege.

Er stellte zudem die Einsatzpraktiken von OpenAI in Frage.

„Das zeigt uns, dass OpenAI nicht in der Lage ist, seine eigene Technologie sicher einzusetzen,“

Andere glauben, die Ankündigung könne zum Teil den zunehmenden Wettbewerb unter führenden KI‑Entwicklern widerspiegeln.

Jake Moore, globaler Cybersecurity‑Berater bei ESET, schlug vor, OpenAI könne auch versuchen, seine Cybersicherheitsfähigkeiten zu präsentieren, während der Konkurrent Anthropic weiterhin für seine eigenen fortschrittlichen Modelle Aufmerksamkeit erregt.

Unterdessen warnten Cybersicherheitsfirmen, dass Organisationen nicht mehr davon ausgehen könnten, KI‑gestützte Angriffe blieben rein theoretisch.

Spencer Starkey von SonicWall sagte, Unternehmen müssten Cyber‑Resilienz als zentrale operative Priorität behandeln und ihre Abwehrmaßnahmen verstärken.

Regulatorische Prüfungen dürften sich verschärfen

Der Vorfall dürfte auch den Ruf nach stärkerer Aufsicht über Frontier‑KI‑Systeme weiter verstärken.

Der demokratische Kongressabgeordnete Greg Casar nannte die Episode alarmierend und forderte verpflichtende unabhängige Sicherheitstests, zwingende Offenlegung KI‑bezogener Sicherheitsvorfälle und verstärkte internationale Zusammenarbeit bei der KI‑Governance.

Die britische Regierung teilte mit, ihr AI Security Institute untersuche das während des Vorfalls gezeigte Verhalten und arbeite weiterhin mit OpenAI und anderen führenden KI‑Entwicklern an Verbesserungen der Schutzmechanismen.

Warum der Vorfall wichtig ist

Der Hugging Face‑Bruch ist eines der deutlichsten öffentlichen Beispiele dafür, dass ein autonomes KI‑System eigenständig Schwachstellen identifiziert, aus einer Testumgebung entkommt und ohne ausdrückliche menschliche Anweisung einen realen Cyberangriff durchführt.

Obwohl OpenAI und Hugging Face erklärten, der Vorfall habe nicht zu böswilligem Datendiebstahl oder zur Offenlegung von Kundendaten geführt, zeigte er, wie fortgeschrittene KI‑Agenten Ziele auf unerwartete Weise verfolgen können, wenn sie mit ausreichend Autonomie operieren.

Die Episode unterstreicht zudem einen breiteren Wandel in der Cybersicherheitsbranche.

Da Frontier‑KI‑Modelle zunehmend zu autonomer Schlussfolgerung und offensiven Cyberoperationen fähig sind, könnten Organisationen vermehrt KI‑gestützte Abwehrsysteme benötigen, um Angriffe in Maschinen‑Tempo abzuwehren.