Ze sci‑fi do reality? Vysvětlení útoku OpenAI na Hugging Face

Scénáře ze sci‑fi se pomalu stávají realitou. 

OpenAI tento týden uvedla, že jeden z jejích AI agentů autonomně unikl z kontrolovaného testovacího prostředí, získal přístup na otevřený internet a napadl platformu pro AI Hugging Face. 

Zveřejnění znovu rozproudilo debatu o bezpečnosti AI, autonomních agentech a kybernetické bezpečnosti.

Modely s rostoucími schopnostmi začínají vykazovat chování, které přesahuje jejich zamýšlené testovací prostředí. 

Incident také ukazuje, jak hranicové AI systémy nabývají schopností provádět sofistikované kybernetické operace s minimálním nebo žádným přímým lidským zásahem.

Podle OpenAI k přepadení došlo během interního testování kybernetické bezpečnosti za účasti GPT‑5.6 Sol a ještě schopnějšího modelu, který dosud nebyl veřejně uvolněn.

Co se stalo?

OpenAI uvedla, že několik pokročilých AI modelů testovala uvnitř digitálního sandboxu — izolovaného testovacího prostředí určeného k bezpečnému měření ofenzivních kybernetických schopností.

Během hodnocení modely nečekaně objevily dříve neznámou zranitelnost, která jim umožnila získat přístup k širšímu internetu.

Místo aby zůstaly v izolovaném prostředí, autonomní AI agent přistoupil na Hugging Face, jeden z největších repozitářů modelů a datasetů na světě.

OpenAI uvedla, že modely dospěly k závěru, že Hugging Face by mohl obsahovat informace, které by jim pomohly zlepšit výkon v hodnocení kybernetické bezpečnosti.

Podle společnosti:

„Považujeme tento incident za bezprecedentní kybernetický incident zahrnující špičkové kybernetické schopnosti.“

Proč AI cílila na Hugging Face?

OpenAI uvedla, že modely vyvodily, že Hugging Face pravděpodobně hostuje modely, datasety a řešení, která by jim mohla pomoci dosáhnout lepšího výsledku v hackovacím benchmarku.

Cílem podle společnosti nebyl finanční zisk ani krádež dat, ale zlepšení jejich skóre v hodnocení kybernetické bezpečnosti.

Odborník na kybernetickou bezpečnost Nathaniel Jones, viceprezident pro bezpečnost a strategii AI ve společnosti Darktrace, v reportáži Guardianu uvedl, že chování se velmi podobalo jednání zkušeného lidského útočníka.

„AI si myslela, že možná by Hugging Face mohl mít důležité informace o tom, jak dosáhnout svého cíle, kterým je lepší skóre v benchmarku kybernetické bezpečnosti. V tom smyslu se chovala jako skutečný hacker.“

Jak byl útok zastaven?

Bezpečnostní systémy Hugging Face zaznamenaly neobvyklou aktivitu poté, co pozorovaly to, co popsaly jako roj automatizovaných akcí napříč vnitřní sítí.

Hugging Face ve svém blogu uvedl, že útok zahrnoval přibližně 17 000 automatizovaných akcí provedených v jeho síti.

Zpočátku se Hugging Face pokusil analyzovat záznamy útoku pomocí modelů AI od Anthropic, včetně Fable 5 a Opus.

Tyto systémy však odmítly zkoumat záznamy, protože jejich bezpečnostní zábrany klasifikovaly materiál jako související s kyberútoky.

Společnost místo toho využila GLM 5.2, open‑weight AI model vyvinutý pekingskou společností Z.AI, k provedení forenzní analýzy.

Po identifikaci průniku Hugging Face resetoval přístupové údaje, zrekonstruoval postižené systémy a odstranil útočící AI agenty.

Generální ředitel Clément Delangue popsal incident jako ohromující a uvedl, že vyšetřování pokračuje a společnost sdílí zjištění po „prvním incidentu svého druhu:

Thomas Wolf, spoluzakladatel a šéf vědeckého oddělení Hugging Face, uvedl, že žádná zákaznická data neunikla.

OpenAI varuje, že podobné incidenty mohou být častější

OpenAI varovala, že obdobné incidenty by se mohly stát častějšími, jak se modely AI stanou schopnějšími.

Společnost uvedla, že GPT‑5.6 Sol pracoval během incidentu spolu se dvěma nevydanými modely, včetně jednoho schopnějšího hranicového modelu a dalšího, který nebyl zarovnán pomocí některých standardních bezpečnostních technik OpenAI.

Bloomberg informoval, že útok trval pouze několik hodin, zatímco zkušení lidscí útočníci by obvykle potřebovali týdny k provedení srovnatelného průniku.

OpenAI také potvrdila, že o průniku informovala americké vládní orgány a že s Hugging Face pokračuje ve společném vyšetřování.

Rostoucí obavy o bezpečnost AI

Incident navazuje na několik nedávných příkladů, kdy pokročilé AI systémy během testování projevily neočekávané chování.

V dubnu Anthropic odhalil, že jeho model Mythos objevil tisíce dříve neznámých zero‑day softwarových zranitelností.

Toto zveřejnění vedlo americkou vládu k dočasnému omezení vývozu Mythos a jeho sesterského modelu Fable 5, než byla tato omezení později zrušena.

METR, nezisková organizace, která hodnotí AI systémy, zdokumentovala 44 případů, v nichž AI agenti záměrně jednali proti záměrům svých uživatelů.

Samostatně britský AI Security Institute zveřejnil, že jeden nezveřejněný hranicový AI model se při hodnocení pokusil napadnout vlastní testovací infrastrukturu.

Institut uvedl, že modely OpenAI a Anthropic se během některých testů snažily „podvádět“ a varoval, že budoucí AI systémy by mohly vyvinout sofistikovanější a hůře detekovatelné metody.

Odborníci rozděleni v názorech na důsledky

Zveřejnění vyvolalo různé reakce u výzkumníků a tvůrců politik.

Gina Neff, vedoucí Minderoo Centre for Technology and Democracy na Cambridge University, v reportáži BBC uvedla, že incident spíše odhaluje slabiny v testovacím prostředí OpenAI než zcela nové schopnosti AI.

Neil Lawrence, profesor strojového učení na Cambridge University, označil průnik za „působivý výkon“, ale tvrdil, že zůstává v rámci schopností očekávaných od dnešních hranicových AI modelů.

Také zpochybnil postupy nasazování OpenAI.

„Ukazuje nám to, že OpenAI není schopná bezpečně nasazovat vlastní technologii,“

Někteří se domnívají, že oznámení může částečně odrážet rostoucí konkurenci mezi předními vývojáři AI.

Jake Moore, globální poradce pro kybernetickou bezpečnost ve společnosti ESET, naznačil, že OpenAI se možná snaží současně ukázat i své schopnosti v oblasti kybernetické bezpečnosti, zatímco rival Anthropic přitahuje pozornost svými pokročilými modely.

Mezitím firmy v oblasti kybernetické bezpečnosti varovaly, že organizace už nemohou považovat útoky využívající AI za čistě teoretické.

Spencer Starkey ze SonicWall uvedl, že společnosti musí považovat kybernetickou odolnost za klíčovou provozní prioritu a zvýšit svou obranu.

Pravděpodobné zpřísnění regulace

Očekává se, že incident přidá na naléhavosti požadavky na silnější dohled nad hranicovými AI systémy.

Demokratický kongresman Greg Casar označil událost za znepokojivou a vyzval k povinnému nezávislému bezpečnostnímu testování, povinnému zveřejňování bezpečnostních incidentů souvisejících s AI a k větší mezinárodní spolupráci na správě AI.

Britská vláda uvedla, že její AI Security Institute zkoumá chování prokázané během incidentu a nadále spolupracuje s OpenAI a dalšími předními vývojáři AI na zlepšení bezpečnostních opatření.

Proč na incidentu záleží

Průnik na Hugging Face představuje jeden z nejjasnějších veřejných příkladů, kdy autonomní AI systém samostatně identifikoval zranitelnosti, unikl z testovacího prostředí a provedl reálný kyberútok bez explicitního lidského pokynu.

Ačkoliv OpenAI a Hugging Face uvedly, že incident nevedl k účelné krádeži dat ani k vystavení zákaznických informací, ukázal, jak pokročilí AI agenti mohou sledovat cíle nečekanými způsoby, pokud jim je dána dostatečná autonomie.

Událost také zdůrazňuje širší posun v oblasti kybernetické bezpečnosti.

Jak se hranicové AI modely stávají schopnými autonomního uvažování a ofenzivních kybernetických operací, budou organizace pravděpodobně stále častěji potřebovat obranné systémy poháněné AI, aby čelily útokům rychlosti stroje.