Forsker i Anthropic sier opp over AI: «spiller med liv» — utryddelsesrisiko over 10%

Anthropic-forskeren Jacob Coxon har sagt opp i Anthropic med en klar advarsel: laboratorier i front løper mot systemer de kanskje til slutt ikke kan kontrollere.

Coxon, som brukte tre år på pretrening-forskning hos både OpenAI og Anthropic, sa at begge selskapene forfølger selvforbedrende superintelligens samtidig som de tar risikoer han ikke lenger ønsker å bidra til å akselerere.

Hans avgang fikk større tyngde etter at Evan Hubinger, leder for Alignment Science i Anthropic, sa at han personlig vurderer mer enn 10 % sannsynlighet for at AI kan utrydde alle mennesker innen det neste tiåret.

Dette tallet er Hubingers egen vurdering, ikke en prognose fra Anthropic, og han understreket at dagens modeller utgjør relativt lav risiko.

Coxon sier at selve kappløpet er problemet

Coxon hevder ikke bare at Anthropic ignorerer sikkerhet.

I kunngjøringen av sin avgang sa han at folk i Anthropic forstår hva som står på spill, men forblir fanget i en konkurranse som belønner å gå raskere fordi et annet laboratorium ellers kan nå superintelligens først.

«De løper rett mot selvforbedrende superintelligens og spiller med livene våre,» skrev Coxon.

Forskeren har bestemt seg for å forlate AI-bransjen fordi han ikke lenger ønsker å delta i å bygge systemer som kan bli ukontrollerbare.

Han fortalte Wall Street Journal at i aggressive scenarier kunne ting være «uten kontroll» innen slutten av neste år.

Den tidslinjen er fortsatt Coxons vurdering. Men argumentet reiser et vanskeligere styringsspørsmål: et selskap kan ta sikkerhet på alvor og likevel bidra til et farlig kappløp dersom konkurransepresset gjør det umulig å bremse.

Det utfordrer ideen om at bedre sikkerhetskulturer internt i enkeltbedrifter er tilstrekkelig.

Les også – Samstøtet mellom Anthropic og Pentagon reiser et sentralt spørsmål: hvem har ansvaret hvis AI dreper?

Hubingers anslag på 10 % avdekker motsetningen

Hubingers respons gjorde oppsigelsen til en bredere debatt om AI i front.

Lederen for Alignment Science i Anthropic sa at forskere innen frontlinje-AI oppriktig tror at avansert AI kan utrydde menneskeheten. Hans eget anslag setter den risikoen over 10 % i løpet av det neste tiåret.

Han sa også at Anthropic «gjør sitt beste», samtidig som han erkjenner at selskapet ennå ikke har en plan for å løse alignment-problemet for superintelligens og ikke tydelig er på vei til å gjøre det.

Hubinger presiserte senere at han vurderer risikoen fra dagens modeller som lav. Hans bekymring gjelder fremtidig superintelligens som kan oppstå gjennom rekursiv selvforbedring, der AI-systemer i økende grad hjelper til med å designe og forbedre sine etterfølgere.

Anthropic har offentlig sagt at rekursiv selvforbedring ikke er uunngåelig, men kan komme tidligere enn institusjonene er forberedt på og dermed øke risikoen for at menneskene mister kontroll.

Motsetningen er vanskelig å overse: forskere forsøker å løse alignment samtidig som systemene de studerer stadig blir mer kapable.

Konkurranse kan være vanskeligere å løse enn alignment

Coxons avgang peker til slutt utover ett selskap.

Hvis ledende laboratorier mener at det å bremse kan gi en fordel til en rival, vil alvorlig intern bekymring kanskje ikke føre til langsommere utvikling.

AI-forskeren Gary Marcus sa, ifølge kommentarer gjengitt av Techmeme, at han ikke er enig i alle deler av Coxons argument, men at han syntes det var «overbevisende og innsiktsfullt fra innsiden» og at det fortjente å bli hørt.

Det er en nyttig motvekt fordi påstander om sannsynligheter for utryddelse og tidslinjer for superintelligens fortsatt er dypt usikre.

Anthropic kan investere i alignment-forskning, publisere risikorapporter og bygge sikkerhetstiltak, samtidig som selskapet opererer i et marked hvor OpenAI og andre rivaler driver kapabilitetene fremover.

Coxons avgang stiller spørsmålet om hva som skjer når forskere i disse laboratoriene mener nedsiden er betydelig, erkjenner at kontroll ikke er løst, og likevel står overfor insentiver til å fortsette kappløpet.