Anthropic-forsker fratræder: AI 'spiller med liv' — udryddelsesrisiko over 10%

Anthropic-forskeren Jacob Coxon har sagt op fra Anthropic med en klar advarsel: de mest avancerede laboratorier kapløber mod systemer, som de i sidste ende måske ikke kan kontrollere.

Coxon, som brugte tre år på pretræningsforskning hos både OpenAI og Anthropic, sagde, at begge virksomheder forfølger selvforbedrende superintelligens og tager risici, som han ikke længere ønsker at være med til at fremskynde.

Hans afgang fik større vægt, efter Evan Hubinger, Anthropics leder for Alignment Science, sagde, at han personligt vurderer, at der er over 10% sandsynlighed for, at AI kunne udrydde alle mennesker inden for det næste årti.

Det tal er Hubingers personlige estimat, ikke en Anthropic-prognose, og han understregede, at nutidige modeller udgør relativt lav risiko.

Coxon: Selve kapløbet er problemet

Coxon hævder ikke blot, at Anthropic ignorerer sikkerhed.

I forbindelse med sin opsigelse sagde han, at folk hos Anthropic forstår, hvad der står på spil, men er fanget i en konkurrence, der belønner hurtigere fremdrift, fordi et andet laboratorium ellers kunne nå superintelligens først.

“De kapløber direkte mod selvforbedrende superintelligens og sætter vores liv på spil,” skrev Coxon.

Forskeren har besluttet at forlade AI-industrien, fordi han ikke længere ønsker at deltage i opbygningen af systemer, der kunne blive ukontrollerbare.

Han fortalte Wall Street Journal, at under aggressive scenarier kunne tingene være “ude af kontrol” ved udgangen af næste år.

Den tidslinje er Coxons vurdering. Men hans argument rejser et vanskeligere styringsspørgsmål: et selskab kan tage sikkerhed alvorligt og alligevel bidrage til et farligt kapløb, hvis konkurrencepresset gør det umuligt at sætte farten ned.

Det udfordrer idéen om, at bedre sikkerhedskulturer i de enkelte virksomheder er nok.

Læs også - Sammenstød mellem Anthropic og Pentagon rejser centralt spørgsmål: hvem har ansvaret, hvis AI dræber?

Hubingers 10%-estimat afslører modsætningen

Hubingers svar gjorde opsigelsen til en bredere debat om frontlinje-AI.

Anthropics leder for Alignment Science sagde, at forskere inden for frontlinje-AI oprigtigt mener, at avanceret AI kunne udslette menneskeheden. Hans eget estimat sætter den risiko over 10% inden for det næste årti.

Han sagde også, at Anthropic “gør sit bedste”, samtidig med at han erkendte, at virksomheden endnu ikke har en plan for at løse alignment for superintelligens og ikke tydeligt er på vej til at gøre det.

Hubinger præciserede senere, at han anser risikoen fra nutidige modeller for lav. Hans bekymring centrerer sig om fremtidig superintelligens fremvokset gennem rekursiv selvforbedring, hvor AI-systemer i stigende grad hjælper med at designe og forbedre deres efterfølgere.

Anthropic har offentligt sagt, at rekursiv selvforbedring ikke er uundgåelig, men kan ankomme hurtigere, end institutionerne er forberedt på, og kan øge risikoen for, at mennesker mister kontrollen.

Modsætningen er svær at ignorere: forskere forsøger at løse alignment, mens de systemer, de studerer, fortsætter med at blive mere avancerede.

Konkurrence kan være sværere at løse end alignment

Coxons opsigelse peger i sidste ende ud over én virksomhed.

Hvis førende laboratorier mener, at en nedbremsning kan give en rival en fordel, vil alvorlige interne bekymringer måske ikke føre til langsommere udvikling.

AI-forskeren Gary Marcus sagde, ifølge Techmeme, at han ikke er enig i alle dele af Coxons argument, men fandt det “overbevisende og velinformeret indefra” og mente, det fortjente at blive hørt.

Det er en nyttig modvægt, fordi påstande om udryddelsessandsynligheder og tidslinjer for superintelligens forbliver dybt usikre.

Anthropic kan investere i alignment-forskning, offentliggøre risikorapporter og opbygge sikkerhedsforanstaltninger, samtidig med at virksomheden opererer i et marked, hvor OpenAI og andre rivaler skubber kapabiliteterne fremad.

Coxons afgang rejser spørgsmålet om, hvad der sker, når forskere inden for disse laboratorier mener, at de negative konsekvenser er væsentlige, erkender, at kontrol ikke er løst, og stadig har incitamenter til at fortsætte kapløbet.