Ricercatore Anthropic si dimette: l'IA «gioca con vite»; rischio estinzione >10%

Il ricercatore di Anthropic Jacob Coxon si è dimesso da Anthropic con un netto avvertimento: i laboratori di frontiera stanno correndo verso sistemi che potrebbero infine non essere in grado di controllare.

Coxon, che ha trascorso tre anni svolgendo ricerca sul preaddestramento presso OpenAI e Anthropic, ha detto che entrambe le società stanno perseguendo una superintelligenza auto-migliorante prendendo rischi che non vuole più contribuire ad accelerare.

La sua partenza ha acquisito rilevanza dopo che Evan Hubinger, responsabile dell'Alignment Science di Anthropic, ha detto di stimare personalmente una probabilità superiore al 10% che l'IA possa uccidere tutti gli esseri umani entro il prossimo decennio.

Quella cifra è una stima personale di Hubinger, non una previsione di Anthropic, e ha sottolineato che i modelli attuali presentano un rischio relativamente basso.

Coxon: la corsa è il problema

Coxon non sostiene semplicemente che Anthropic ignori la sicurezza.

Nel comunicare le dimissioni, ha detto che le persone in Anthropic comprendono le poste in gioco ma restano bloccate in una competizione che premia l'accelerazione, perché altrimenti un altro laboratorio potrebbe essere il primo a raggiungere la superintelligenza.

«Stanno correndo direttamente verso una superintelligenza auto-migliorante e stanno giocando con le nostre vite», ha scritto Coxon.

Il ricercatore ha deciso di lasciare l'industria dell'IA perché non vuole più partecipare alla costruzione di sistemi che potrebbero diventare incontrollabili.

Ha detto al Wall Street Journal che, in scenari aggressivi, la situazione potrebbe essere «fuori controllo" entro la fine del prossimo anno.

Quel calendario rimane una valutazione di Coxon. Ma il suo argomento solleva una questione di governance più difficile: un'azienda può prendere sul serio la sicurezza e tuttavia contribuire a una corsa pericolosa se la pressione competitiva rende impossibile rallentare.

Questo mette in discussione l'idea che migliori culture della sicurezza all'interno delle singole aziende siano sufficienti.

Leggi anche - Lo scontro Anthropic-Pentagono solleva una domanda chiave: chi è responsabile se l'IA uccide?

La stima del 10% di Hubinger mette in luce la contraddizione

La risposta di Hubinger ha trasformato le dimissioni in un dibattito più ampio sull'IA di frontiera.

Il responsabile dell'Alignment Science di Anthropic ha detto che i ricercatori nell'ambito dell'IA di frontiera credono sinceramente che un'IA avanzata possa uccidere l'umanità. La sua stima personale colloca quel rischio oltre il 10% entro il prossimo decennio.

Ha anche detto che Anthropic sta «facendo del suo meglio», pur riconoscendo che l'azienda non ha ancora un piano per risolvere l'allineamento in caso di superintelligenza e non è chiaramente sulla strada giusta per farlo.

Hubinger ha poi precisato di considerare basso il rischio derivante dai modelli attuali. La sua preoccupazione riguarda la futura superintelligenza che potrebbe emergere attraverso il miglioramento ricorsivo di sé, in cui i sistemi di IA aiutano sempre più a progettare e migliorare i loro successori.

Anthropic ha dichiarato pubblicamente che il miglioramento ricorsivo non è inevitabile, ma potrebbe arrivare prima che le istituzioni siano pronte e aumentare il rischio che gli esseri umani perdano il controllo.

La contraddizione è difficile da ignorare: i ricercatori cercano di risolvere l'allineamento mentre i sistemi che studiano continuano a diventare più capaci.

La competizione potrebbe essere più difficile da risolvere dell'allineamento

Le dimissioni di Coxon puntano, in ultima analisi, oltre una singola azienda.

Se i laboratori leader ritengono che rallentare potrebbe dare un vantaggio a un rivale, le preoccupazioni interne serie potrebbero non tradursi in uno sviluppo più lento.

Il ricercatore di IA Gary Marcus ha detto, in commenti riportati da Techmeme, di non essere d'accordo con ogni parte dell'argomento di Coxon ma di averlo trovato «convincente e informato dall'interno» e di ritenere che meritasse di essere ascoltato.

Questo è un contrappeso utile perché le affermazioni sulle probabilità di estinzione e sulle tempistiche della superintelligenza restano profondamente incerte.

Anthropic può investire nella ricerca sull'allineamento, pubblicare rapporti sui rischi e costruire salvaguardie, pur operando in un mercato in cui OpenAI e altri rivali spingono le capacità in avanti.

La partenza di Coxon pone la domanda: cosa accade quando i ricercatori all'interno di quei laboratori ritengono che il rischio al ribasso sia rilevante, ammettono che il controllo non è risolto e affrontano comunque incentivi a continuare a correre.