Onderzoeker Anthropic neemt ontslag: AI 'gokt met levens'; uitstervingsrisico boven 10%

Anthropic-onderzoeker Jacob Coxon heeft ontslag genomen bij Anthropic met een duidelijke waarschuwing: laboratoria aan de voorhoede racen op systemen af die ze uiteindelijk mogelijk niet kunnen beheersen.

Coxon, die drie jaar pretraining-onderzoek deed bij zowel OpenAI als Anthropic, zei dat beide bedrijven zelfverbeterende superintelligentie nastreven terwijl ze risico's nemen die hij niet langer wil helpen versnellen.

Zijn vertrek kreeg meer gewicht nadat Evan Hubinger, hoofd Alignment Science bij Anthropic, zei dat hij persoonlijk een kans van meer dan 10% ziet dat AI binnen het komende decennium de hele mensheid kan uitroeien.

Dat cijfer is Hubingers persoonlijke inschatting, geen Anthropic-voorspelling, en hij benadrukte dat huidige modellen relatief weinig risico vormen.

Coxon zegt dat de race zelf het probleem is

Coxon beweert niet simpelweg dat Anthropic veiligheid negeert.

Bij de aankondiging van zijn vertrek zei hij dat mensen bij Anthropic de potentiële inzet begrijpen maar gevangen blijven in een concurrentie die sneller bewegen beloont, omdat anders een ander laboratorium mogelijk als eerste superintelligentie bereikt.

“Ze rennen recht naar zelfverbeterende superintelligentie en gokken met ons leven,” schreef Coxon.

De onderzoeker heeft besloten de AI-industrie te verlaten omdat hij niet langer wil meewerken aan het bouwen van systemen die oncontroleerbaar zouden kunnen worden.

Hij vertelde de Wall Street Journal dat onder agressieve scenario's het tegen het einde van volgend jaar "buiten controle" kan zijn.

Die tijdlijn blijft Coxons inschatting. Maar zijn betoog roept een moeilijkere governancevraag op: een bedrijf kan veiligheid serieus nemen en toch bijdragen aan een gevaarlijke race als concurrentiedruk vertragen onmogelijk doet lijken.

Dat daagt het idee uit dat betere veiligheidsculturen binnen afzonderlijke bedrijven voldoende zijn.

Lees ook — Conflict tussen Anthropic en Pentagon roept cruciale vraag op: wie is aansprakelijk als AI doden veroorzaakt?

Hubingers 10%-inschatting legt de tegenstrijdigheid bloot

Hubingers reactie maakte van het vertrek een bredere discussie over AI aan de voorhoede.

Het hoofd van Alignment Science bij Anthropic zei dat onderzoekers binnen de voorhoede van AI oprecht geloven dat geavanceerde AI de mensheid kan uitroeien. Zijn eigen inschatting plaatst dat risico boven de 10% in het komende decennium.

Hij zei ook dat Anthropic "zijn best doet", terwijl hij erkende dat het bedrijf nog geen plan heeft om alignment voor superintelligentie op te lossen en niet duidelijk op koers ligt om dat te doen.

Hubinger verduidelijkte later dat hij het risico van huidige modellen als laag beschouwt. Zijn zorg richt zich op toekomstige superintelligentie die ontstaat door recursieve zelfverbetering, waarbij AI-systemen in toenemende mate helpen bij het ontwerpen en verbeteren van hun opvolgers.

Anthropic heeft publiekelijk gezegd dat recursieve zelfverbetering niet onvermijdelijk is, maar eerder kan arriveren dan waarvoor instellingen zijn voorbereid en het risico kan vergroten dat mensen de controle verliezen.

De tegenstrijdigheid is moeilijk te negeren: onderzoekers proberen alignment op te lossen terwijl de systemen die ze bestuderen steeds krachtiger worden.

Concurrentie kan moeilijker op te lossen zijn dan alignment

Coxons vertrek wijst uiteindelijk verder dan één bedrijf.

Als toonaangevende laboratoria geloven dat vertragen een voorsprong aan een concurrent zou geven, vertaalt ernstige interne bezorgdheid zich mogelijk niet in langzamere ontwikkeling.

AI-onderzoeker Gary Marcus zei, in door Techmeme gerapporteerde opmerkingen, dat hij het niet eens was met elk onderdeel van Coxons betoog maar het "aansprekend en geïnformeerd van binnenuit" vond en zei dat het gehoord moest worden.

Dat is een nuttig tegenwicht omdat beweringen over uitstervingskansen en tijdlijnen voor superintelligentie diep onzeker blijven.

Anthropic kan investeren in alignment-onderzoek, risicorapporten publiceren en veiligheidsmaatregelen opzetten, terwijl het toch opereert in een markt waar OpenAI en andere concurrenten de mogelijkheden vooruit duwen.

Coxons vertrek stelt de vraag wat er gebeurt wanneer onderzoekers binnen die laboratoria geloven dat het nadeel materieel is, toegeven dat controle niet is opgelost en toch prikkels hebben om te blijven racen.