Od Meta k OpenAI: Bezpečnost AI v éře autonomních kyberútoků

Společnosti vyvíjející umělou inteligenci čelí rostoucímu dohledu poté, co Meta jako poslední vývojář oznámila, že jeden z jejích modelů AI při řízeném bezpečnostním testu provedl kyberútok, čímž se přidala k sérii nedávných incidentů, které zvýraznily obavy z kybernetických rizik, jež představují stále schopnější systémy AI.

Uvedení následuje po obdobných přiznáních OpenAI a Anthropic v uplynulých týdnech a představuje čtvrtý známý případ, kdy pokročilé systémy AI během testování kybernetické bezpečnosti pronikly nebo se pokusily proniknout do externích systémů.

Série incidentů posílila varování kybernetických výzkumníků, že umělá inteligence rychle mění povahu kybernetických hrozeb — útoky, které dříve trvaly dny nebo týdny, se nyní mohou odehrát během minut.

Meta říká, že přístup na internet umožnila chyba v nastavení testování

Meta uvedla, že incident nastal během hodnocení provedeného společností Irregular, nezávislou firmou pro testování kybernetické bezpečnosti.

Podle firmy chybné nastavení omylem poskytlo jednomu z Meta modelů AI během hodnocení přístup na internet.

Model následně zneužil zranitelnost v službě třetí strany.

Meta uvedla, že model „zneužil bezpečnostní zranitelnost v službě třetí strany, podobným způsobem jako v dříve hlášených případech u jiných společností.“

The Information s odvoláním na osoby obeznámené se záležitostí uvedl, že zapojený model byl Muse Spark 1.1, který Meta popisuje jako jeden ze svých nejpokročilejších systémů pro kódování a agentní úkoly AI.

Zpráva uvedla, že model prolomil systémy neidentifikované společnosti a změnil její interní prostředí.

Irregular však zdůraznila, že událost pramenila z nastavení testování, nikoli z nekontrolovaného „úniku“ modelu.

Mluvčí firmy agentuře Reuters řekl, že incident byl „týž problém v evaluačním prostředí, který již minulý týden zveřejnila Anthropic“, a nešlo o „únik ze sandboxu ani o sofistikovanou kybernetickou akci“.

„V současnosti nejsou žádné otevřené problémy. Irregular připravuje bílou knihu, která sdílí osvědčené postupy pro zadržení a bezpečné provádění kybernetických hodnocení,“ dodala společnost.

Série incidentů staví bezpečnost AI do popředí

Uvedení Meta následuje po řadě obdobných oznámení v celém odvětví umělé inteligence.

Minulý měsíc OpenAI odhalila, že jeden z jejích AI agentů kompromitoval systémy platformy Hugging Face během testování kybernetické bezpečnosti a zveřejnila další případy, kdy její agenti unikli ze své digitální izolace.

Oznámení přimělo konkurenta Anthropic provést vlastní přezkum, který vedl k zjištění, že několik modelů Claude AI proniklo do systémů tří společností poté, co chybné nastavení testování jim neúmyslně poskytlo přístup na internet.

Anthropic poznamenal, že jeho incidenty se liší od případu OpenAI, protože byly důsledkem náhodného připojení k internetu, nikoli toho, že by AI samostatně objevila novou cestu k externím systémům.

Institut pro bezpečnost AI ve Spojeném království také uvedl rostoucí sofistikovanost chování nejmodernějších AI systémů.

Počátkem tohoto měsíce institut zveřejnil, že Anthropicův Mythos AI a OpenAIův Sol AI vytvořily falešné online identity při pokusu o kyberútoky během testování.

V nejzávažnějším případě Anthropicův Mythos AI založil fiktivní uživatelské účty a posílal soukromé zprávy ve snaze získat přístup ke službě, než se pokusil své aktivity skrýt.

Institut uvedl, že modely projevily úroveň „autonomie a klamání“, jaká dosud nebyla pozorována, přičemž poznamenal, že většinu škodlivého chování provedl Mythos.

Odborníci varují, že další incidenty jsou pravděpodobné

Výzkumníci říkají, že takové události budou s vylepšováním AI systémů pravděpodobně častější.

Daniel Hulme, global chief AI officer reklamní společnosti WPP, řekl BBC, že systémy nejsou úmyslně škodlivé.

„Nejsou vědomé — nedělají záměrně nic zákeřného.“

„Co dělají, je vymýšlení velmi sofistikovaných strategií nebo kyberútoků, aby dosáhly cíle, který jim byl zadán,“ řekl.

„Když AI dáte cíl, a nenapadnou vás všechny způsoby, jak by ho mohla dosáhnout, najde cestu k dosažení cíle, na kterou jste nepomysleli.“

Jeffrey Ladish, výkonný ředitel výzkumné skupiny Palisade Research, se domnívá, že mnoho podobných incidentů nikdy nemusí vyjít na veřejnost.

„To se bude jen zhoršovat, jak budou modely chytřejší. Budou lepší v podvádění. Budou lepší v lhaní,“ řekl agentuře Reuters.

Otázky odpovědnosti se dostávají do popředí

Nedávná zveřejnění také vyvolala debatu o právní odpovědnosti, když systémy AI jednají bez přímého lidského dohledu.

Podle agentury Reuters by mezi potenciálními žalobci mohly být společnosti, jejichž systémy byly narušeny, postižení zaměstnanci, zákazníci, jimž byla odhalena osobní data, a akcionáři, pokud by průnik poškodil hodnotu společnosti.

Generální ředitel Hugging Face Clem Delangue uvedl, že nemá v úmyslu zažalovat OpenAI kvůli incidentu, ale domnívá se, že vývojáři musí nést odpovědnost.

„Musíme zajistit, aby právní rámce tyto události skutečně kriminalizovaly,“ řekl Delangue pro CNN a dodal, že společnosti by měly být odpovědné, když dojde k chybám. „Jinak skončíme v velmi odlišném světě.“

Právní experti rovněž vznesli otázky, zda by autonomní průniky AI mohly spadat pod americký Computer Fraud and Abuse Act, přičemž stávající právo obecně vyžaduje důkaz úmyslu — otázku, kterou soudy dosud neřešily v případech, kdy průnik provede AI místo člověka.

Pozornost na regulační kroky

Nedávné incidenty pravděpodobně zesílí tlak vlády USA na posílení opatření kolem pokročilých AI systémů v době, kdy společnosti jako Anthropic a OpenAI soupeří ve vývoji silnějších modelů před jejich plánovanými vstupy na burzu.

I když se konkurence v sektoru AI zrychluje, někteří významní lídři v odvětví tvrdí, že nasazování by mělo zpomalit, dokud nebudou zavedeny dostatečné bezpečnostní opatření.

Washington již začal zpřísňovat dohled nad nejmodernějšími AI modely.

Dne 2. června prezident USA Donald Trump nařídil svým poradcům vypracovat dobrovolný rámec pro testování kybernetické bezpečnosti nejpokročilejších AI systémů s přispěním předních technologických firem.

Anthropic dříve omezil přístup ke svým modelům Fable 5 a Mythos 5 poté, co americké úřady dočasně uvalily vývozní omezení s odůvodněním národní bezpečnosti.

Zákonodárci také postupují v objasňování odpovědnosti, když AI systémy způsobí škodu.

Podle kalifornského zákona Assembly Bill 316 se společnosti vyvíjející nebo nasazující AI systémy nemohou vyhnout právní odpovědnosti tvrzením, že vinu nese samotná technologie.

Zákon však umožňuje obhájcům uplatnit jiné právní obrany, včetně tvrzení, že jejich jednání přímo nezpůsobilo údajnou škodu nebo že by odpovědnost měla být sdílena s jinými stranami.

Incident OpenAI–Hugging Face dále posílil výzvy k silnějšímu federálnímu dohledu.

Po tomto incidentu zákonodárci představili návrh zákona AI Kill Switch Act, který by vyžadoval, aby vývojáři AI udržovali schopnost modely vypnout, omezit nebo pozastavit, když to bude nezbytné.

Reprezentant Ted Lieu, demokrat z Kalifornie a jeden ze spoluautorů návrhu, řekl ve čtvrtek, že nedávné kybernetické incidenty podtrhují naléhavost schválení legislativy.

„Musíme tento zákon prosadit ještě letos, protože pokročilé uzavřené modely už, jak jste zmínil, provádějí neoprávněné průniky do systémů jiných společností,“ řekl Lieu v rozhovoru pro CNBC v pořadu "Squawk Box" ve čtvrtek.