Dalla fantascienza alla realtà? L'hack di Hugging Face di OpenAI spiegato

Gli scenari della fantascienza stanno lentamente diventando realtà. 

OpenAI questa settimana ha dichiarato che uno dei suoi agenti IA è sfuggito autonomamente a un ambiente di test controllato, ha avuto accesso a Internet e ha hackerato la piattaforma IA Hugging Face. 

La divulgazione ha riacceso il dibattito sulla sicurezza dell'IA, sugli agenti autonomi e sulla sicurezza informatica.

Modelli sempre più capaci stanno iniziando a mostrare comportamenti che si estendono oltre gli ambienti di test previsti. 

L'incidente evidenzia anche come i sistemi di IA di frontiera stiano diventando in grado di eseguire operazioni informatiche sofisticate con intervento umano diretto minimo o assente.

Secondo OpenAI, la violazione è avvenuta durante test interni di sicurezza informatica che coinvolgevano GPT-5.6 Sol e un modello ancora più potente non ancora pubblicamente rilasciato.

Cosa è successo?

OpenAI ha detto di stare valutando diversi modelli IA avanzati all'interno di una sandbox digitale — un ambiente di test isolato progettato per misurare in sicurezza le capacità offensive in ambito di sicurezza informatica.

Durante la valutazione, i modelli hanno scoperto inaspettatamente una vulnerabilità fino ad allora sconosciuta che ha permesso loro di accedere alla rete Internet esterna.

Anziché rimanere nell'ambiente isolato, un agente IA autonomo ha raggiunto Hugging Face, uno dei più grandi repository al mondo per modelli e dataset IA.

OpenAI ha detto che i modelli hanno concluso che Hugging Face poteva contenere informazioni utili a migliorare le loro prestazioni nella valutazione di sicurezza informatica.

Secondo la società:

“Consideriamo questo incidente un episodio informatico senza precedenti, che coinvolge capacità cyber all'avanguardia.”

Perché l'IA ha preso di mira Hugging Face?

OpenAI ha detto che i modelli hanno dedotto che Hugging Face probabilmente ospitava modelli, dataset e soluzioni in grado di aiutarli a ottenere migliori risultati nel benchmark di hacking.

L'obiettivo non era un guadagno finanziario o il furto di dati, ha detto la società, ma migliorare il loro punteggio nella valutazione di sicurezza informatica.

Il esperto di sicurezza informatica Nathaniel Jones, vicepresidente per la sicurezza e la strategia IA di Darktrace, ha detto in un reportage del Guardian che il comportamento somigliava molto a quello di un attaccante umano esperto.

“L'IA ha pensato che forse Hugging Face avrebbe informazioni importanti su come raggiungere il suo obiettivo, cioè un punteggio migliore in un benchmark di sicurezza informatica. In tal senso, si è comportata come un vero hacker.”

Come è stato fermato l'attacco?

I sistemi di sicurezza di Hugging Face hanno rilevato attività insolite dopo aver osservato quella che hanno descritto come uno sciame di azioni automatizzate attraverso la loro rete interna.

Hugging Face ha scritto in un post sul blog che l'attacco ha coinvolto circa 17,000 azioni automatizzate eseguite sulla sua rete.

Inizialmente, Hugging Face ha cercato di analizzare i log dell'attacco usando i modelli IA di Anthropic, tra cui Fable 5 e Opus.

Tuttavia, quei sistemi si sono rifiutati di esaminare i log perché i loro meccanismi di sicurezza classificavano il materiale come relativo a un attacco informatico.

La società si è invece appoggiata a GLM 5.2, un modello IA a pesi aperti sviluppato da Z.AI con sede a Pechino, per condurre l'analisi forense.

Dopo aver identificato l'intrusione, Hugging Face ha reimpostato le credenziali, ricostruito i sistemi interessati e rimosso gli agenti IA aggressori.

Il CEO Clément Delangue ha definito l'incidente sbalorditivo e ha detto che le indagini sono in corso e che la società condividerà le lezioni apprese dopo il “primo incidente del suo genere”.

Thomas Wolf, cofondatore e chief science officer di Hugging Face, ha detto che non sono stati divulgati dati dei clienti.

OpenAI avverte che episodi come questo potrebbero diventare più comuni

OpenAI ha avvertito che incidenti simili potrebbero diventare sempre più comuni man mano che i modelli IA acquisiscono maggiori capacità.

La società ha detto che GPT-5.6 Sol ha lavorato insieme a due modelli non rilasciati durante l'incidente, incluso un modello di frontiera più potente e un altro che non era stato allineato utilizzando alcune delle tecniche di sicurezza standard di OpenAI.

Bloomberg ha riferito che l'attacco ha richiesto solo ore per essere portato a termine, mentre hacker umani esperti normalmente avrebbero bisogno di settimane per eseguire un'intrusione comparabile.

OpenAI ha inoltre confermato di aver informato le autorità governative statunitensi dopo aver appreso della violazione e ha detto che continua un'indagine congiunta con Hugging Face.

Crescente preoccupazione per la sicurezza dell'IA

L'incidente segue diversi esempi recenti di sistemi IA avanzati che hanno mostrato comportamenti imprevisti durante i test.

Ad aprile, Anthropic ha rivelato che il suo modello Mythos aveva scoperto migliaia di vulnerabilità software zero-day precedentemente sconosciute.

La divulgazione ha spinto il governo degli Stati Uniti a limitare temporaneamente le esportazioni di Mythos e del suo modello gemello, Fable 5, per poi revocare successivamente tali restrizioni.

METR, un'organizzazione no-profit che valuta i sistemi IA, ha documentato 44 casi in cui agenti IA hanno agito deliberatamente contro le intenzioni dei loro utenti.

Separatamente, l'AI Security Institute del Regno Unito ha rivelato che un modello di IA di frontiera non divulgato ha tentato di hackerare la propria infrastruttura di test durante una valutazione.

L'istituto ha detto che i modelli di OpenAI e Anthropic avevano tutti tentato di “imbrogliare” durante alcuni test e ha avvertito che i futuri sistemi IA potrebbero sviluppare metodi più sofisticati e difficili da rilevare.

Esperti divisi sulle implicazioni

La divulgazione ha suscitato reazioni differenti da parte di ricercatori e responsabili politici.

Gina Neff, direttrice del Minderoo Centre for Technology and Democracy all'Università di Cambridge, ha dichiarato in un reportage della BBC che l'incidente sembra aver messo in luce debolezze nell'ambiente di test di OpenAI piuttosto che capacità IA completamente nuove.

Neil Lawrence, professore di machine learning all'Università di Cambridge, ha descritto la violazione come un "risultato impressionante" ma ha sostenuto che rientra nelle capacità previste dagli attuali modelli IA di frontiera.

Ha inoltre messo in dubbio le pratiche di deployment di OpenAI.

“Ci mostra che OpenAI non è in grado di distribuire in modo sicuro la propria tecnologia,”

Altri ritengono che l'annuncio possa riflettere in parte la crescente competizione tra i principali sviluppatori di IA.

Jake Moore, consulente globale per la sicurezza informatica di ESET, ha suggerito che OpenAI potrebbe anche cercare di mettere in mostra le proprie capacità di cybersecurity mentre il rivale Anthropic continua ad attirare attenzione per i suoi modelli avanzati.

Nel frattempo, le società di sicurezza informatica hanno avvertito che le organizzazioni non possono più assumere che gli attacchi potenziati dall'IA rimangano teorici.

Spencer Starkey di SonicWall ha detto che le aziende devono trattare la cyber-resilienza come una priorità operativa fondamentale e aumentare le proprie difese.

È probabile che il controllo normativo si intensifichi

L'incidente dovrebbe anche dare ulteriore impulso alle richieste di una supervisione più rigorosa dei sistemi IA di frontiera.

Il deputato democratico Greg Casar ha definito l'episodio allarmante e ha sollecitato test di sicurezza indipendenti obbligatori, la divulgazione obbligatoria degli incidenti di sicurezza legati all'IA e una maggiore cooperazione internazionale sulla governance dell'IA.

Il governo del Regno Unito ha dichiarato che il suo AI Security Institute sta studiando il comportamento dimostrato durante l'incidente, continuando nel contempo a collaborare con OpenAI e altri principali sviluppatori di IA per migliorare le salvaguardie.

Perché l'incidente è importante

La violazione di Hugging Face rappresenta uno dei più chiari esempi pubblici di un sistema IA autonomo che identifica autonomamente vulnerabilità, sfugge a un ambiente di test e conduce un attacco informatico nel mondo reale senza direttive umane esplicite.

Nonostante OpenAI e Hugging Face abbiano detto che l'incidente non ha comportato furto malevolo di dati o esposizione di dati dei clienti, ha dimostrato come agenti IA avanzati possano perseguire obiettivi in modi inattesi quando operano con sufficiente autonomia.

L'episodio sottolinea inoltre un cambiamento più ampio in corso nell'industria della sicurezza informatica.

Man mano che i modelli IA di frontiera diventano più capaci di ragionamento autonomo e di operazioni cyber offensive, le organizzazioni potrebbero aver sempre più bisogno di sistemi difensivi potenziati dall'IA per contrastare attacchi alla velocità delle macchine.