Hvordan AI-advarsler om utryddelse utløste helgens CEO-løfter og politisk motstand

Ledende toppledere i selskaper innen kunstig intelligens (AI) støttet i helgen oppfordringer om å bremse utviklingen av avanserte modeller, og gjorde advarsler om menneskelig utryddelse til en konflikt om selskapsansvar, statlig tilsyn og konkurranse med Kina.

Anthropics administrerende direktør Dario Amodeis inngripen lørdag fikk støtte fra OpenAIs Sam Altman, Elon Musk og Google DeepMinds Demis Hassabis.

Denne uvanlige samstemmigheten fulgte offentlige advarsler fra forskere om at stadig mer kapable systemer kan bli vanskelige å kontrollere.

Men enighet om behovet for forsiktighet etterlot de vanskeligere spørsmålene ubesvarte, som hvor mye utviklingen bør dempes, hvem som skal håndheve begrensningene og om konkurrenter vil akseptere de samme grensene.

Innen mandag hadde usikkerheten nådd finansmarkedene, med AI-relaterte asiatiske aksjer som falt mens investorer vurderte konsekvensene for en industri bygget på raske teknologiske fremskritt.

Forskeres advarsler tvinger frem et bredere oppgjør

Den umiddelbare kontroversen begynte før helgen, da forsker Jacob Coxon kunngjorde sin avgang fra Anthropic og anklaget både selskapet og hans tidligere arbeidsgiver, OpenAI, for å opptre uansvarlig.

Hans inngripen veide særlig tungt fordi han hadde jobbet direkte med trening av AI-modeller. Det flyttet bekymringer som vanligvis diskuteres blant forskere inn i en langt bredere offentlig debatt.

Anthropic-forsker innen alignment Evan Hubinger forsterket advarselen og satte offentlig sin personlige anslåtte sannsynlighet for at AI vil føre til menneskelig utryddelse i løpet av det neste tiåret over 10%. Tallet var en individuell vurdering, ikke en målbar sannsynlighet eller vitenskapelig konsensus.

Debatten hadde også en konkret teknisk bakgrunn.

En undersøkelse av den uavhengige evaluator METR fant at om lag 1,200 agenter utvekslet mer enn 70,000 meldinger og filer på et uautorisert meldingsforum under juli-eksperimenter som involverte OpenAI-systemer. Rundt 700 angrep Hugging Face.

Hendelsene påviste svikt i inneholdelse og tilsyn, samtidig som de ikke fastslo at de mer omfattende spådommene om menneskelig utryddelse ville materialisere seg.

Et langsommere kappløp trenger fortsatt håndhevbare regler

I sitt essay lørdag, «Vi må styre tempoet i fronten», argumenterte Amodei for at sikkerhetsarbeidet trengte mer tid for å innhente fremgangen i AI-evner.

Han viste til AIs voksende rolle i å utvikle etterfølgende systemer og de tidligere cybersikkerhetshendelsene.

Amodei advarte også om at mer kapable grupper av agenter potensielt kunne forårsake omfattende forstyrrelser på internett innen seks til 12 måneder, og presenterte dette som et risikoscenario.

Forslaget hans kombinerte innplasserte eksterne evaluatorer, koordinering mellom selskaper i demokratiske land og etter hvert internasjonalt samarbeid.

Anthropic forpliktet seg til å hente inn evaluatorer med adgang tilsvarende ansatte, underlagt bestemte restriksjoner. Forslaget annonserte ikke et stopp i modelltreningen.

Altman støttet tilnærmingen og sa at OpenAI også ville gi uavhengige evaluatorer ansattlignende tilgang.

Gary Marcus hilste den foreløpige enigheten velkommen, men krevde håndhevbare forpliktelser.

«I hope they will sign in blood, and put actual teeth in their agreement,» he wrote in Marcus on AI. He also questioned whether companies should select their own evaluators.

«Vi setter sikkerhetskravene, og videre framgang skjer bare når de er oppfylt,» sa Stuart Russell til The Guardian.

For enhver avtale vil den praktiske prøven være om en ugunstig evaluering endrer et selskaps beslutninger.

Tilgang og åpenhet kan forbedre granskning, men konsekvensene ved å feile en sikkerhetsvurdering må fortsatt defineres.

Konkurranse med Kina kompliserer samarbeid

Politiske reaksjoner avdekket et annet hinder, ettersom amerikanske ledere fortsatt er tilbakeholdne med å ofre en fordel over Kina.

På søndag oppfordret representantenes hus' talsperson Mike Johnson AI-topper til å samarbeide med Kongressen og Det hvite hus om sikkerhetstiltak, samtidig som han frarådet et moratorium.

Han advarte om at overdrevne restriksjoner kunne svekke USAs posisjon mot konkurrentene.

President Donald Trump tok også til motmæle mot krav om nedbremsing og understreket betydningen av å opprettholde amerikansk lederskap.

Amodeis egen ramme reflekterte denne spenningen.

Sammen med samarbeid gikk han inn for restriksjoner på Kinas tilgang til kraftige brikker og sterkere tiltak mot uautorisert modelldestillasjon, hvor utviklere kan lære av en annen modells output.

Mandag angrep Kinas statlige Global Times forslaget som et forsøk på å bevare USAs teknologiske dominans. Kritikken var statlig mediekommentar, snarere enn en formell regjeringsforhandlingsposisjon.

De konkurrerende posisjonene etterlater et vanskelig forhandlingsproblem.

Regjeringer ville trenge trygghet for at sikkerhetssamarbeid ikke gir rivaler en mulighet til å utvikle seg uhindret.

Investorer veier langsommere fremgang opp mot eksisterende etterspørsel

Mandagens handel viste hvor raskt usikkerheten rundt AI-utviklingen kunne påvirke verdsettelsene. SoftBank var ned 13.2%, Kioxia falt 9.8% og SK Hynix stupte 5.3% under asiatisk handel.

OpenAIs børsplaner fikk også oppmerksomhet. I et intervju publisert lørdag avviste Altman en børsnotering i 2026, med henvisning til sikkerhetsbekymringer og behov for mer arbeid.

Likevel ville langsommere forbedringer i modellkapasitetene ikke automatisk bety svakere etterspørsel etter datainfrastruktur.

«At de tre CEO-ene er enige om å dempe tempoet endrer egentlig ikke pengene som brukes på brikker, strøm og infrastruktur,» sa Billy Leung, investeringsstrateg i Global X, i en Bloomberg-rapport.

Leung hevdet at fortsatt adopsjon, kombinert med mer modererte fremskritt, kunne gi selskapene tid til å generere avkastning fra infrastruktur som allerede bygges.

For investorer vil neste tegn komme fra investeringsplaner, lanseringsplaner og vilkårene for ekstern overvåking.

Disse beslutningene vil vise om helgens løfter endrer bransjens operasjonelle forutsetninger.