Rekursiv selvforbedring: Hvorfor Anthropic vil at AI-utviklingen skal bremses

Etter hvert som kappløpet om å bygge stadig kraftigere kunstige intelligenssystemer akselererer, oppfordrer en av bransjens ledende aktører verden til å vurdere en mulighet som inntil nylig i stor grad hørte hjemme i science fiction: maskiner som forbedrer seg selv uten menneskelig inngripen.

Anthropic, AI-selskapet bak Claude, sa torsdag at evnen til å bremse tempoet i utviklingen av banebrytende AI kan vise seg å være verdifull etter hvert som teknologien nærmer seg kapasiteter som kan grunnleggende endre samfunnet.

Advarselen kom i et blogginnlegg forfattet av Marina Favaro, leder for Anthropics interne forskningsinstitutt, og selskapets medgründer Jack Clark.

Innlegget offentliggjorde intern forskning som viser at selskapets mest avanserte modeller utvikler seg raskt og potensielt kan bevege seg mot det forskere kaller "rekursiv selvforbedring" — et scenario der AI-systemer blir i stand til å forbedre sine egne evner.

Selskapet understreket at en slik terskel ennå ikke er nådd og kanskje aldri vil bli oppnådd.

Likevel hevdet de at muligheten blir alvorlig nok til å kreve forberedelser.

"AI som kan bygge seg selv ville være en viktig utvikling i teknologiens historie—en som kunne bringe enorme fordeler for verden innen vitenskap, helsevesen og utover," skrev innlegget.

Det advarte samtidig om at full rekursiv selvforbedring også kan øke risikoen for at mennesker mister kontrollen over AI-systemer.

"Hvis systemer er i stand til fullt ut å bygge sine egne etterfølgere, blir måtene vi sikrer dem, overvåker dem og former deres atferd mye viktigere," het det i innlegget.

"Vi mener det ville være bra for verden å ha muligheten til å bremse eller midlertidig pause utviklingen av frontier-AI for å gi samfunnsstrukturer og alignment-forskning tid til å holde tritt med teknologiens framgang," la de til.

Hva rekursiv selvforbedring betyr

Rekursiv selvforbedring, ofte forkortet RSI, refererer til en prosess der et AI-system bruker sine eksisterende evner for å gjøre seg selv bedre.

I motsetning til konvensjonell programvare, som bare endres når menneskelige utviklere endrer koden, kan avanserte AI-systemer allerede skrive programvare, analysere resultater, teste hypoteser og generere løsninger på komplekse problemer.

Forskere ser for seg et framtidig system som kan identifisere et problem, skrive kode for å løse det, evaluere utfallet, lære av resultatene og deretter gjenta prosessen kontinuerlig med liten eller ingen menneskelig tilsyn.

Hver forbedring kan potensielt gjøre den neste forbedringen enklere, og skape en tilbakemeldingssløyfe som akselererer fremgangen.

Mens eksperter er uenige om hvor sannsynlig eller hvor nært en slik kapasitet er, har konseptet blitt et sentralt tema i diskusjoner om avansert AI-sikkerhet.

Anthropic advarte om at rekursiv selvforbedring "kunne komme tidligere enn de fleste institusjoner er forberedt på."

Hvorfor forskere ser risiko

Muligheten for selvforbedrende systemer har skapt bekymring blant enkelte akademikere og beslutningstakere fordi det introduserer nye sikkerhets- og styringsutfordringer.

Ifølge Azizi Othman ved Asia e University kan systemer som er i stand til å endre sin egen kode bli attraktive mål for ondsinnede aktører.

"Et system som endrer sin egen kode, kan bli gjort til å akseptere bakdører eller skjulte instruksjoner gjennom nøye angrepssekvenser," sa Othman.

Han advarte om at slike systemer også potensielt kunne utføre fiendtlig modifikasjon av annen programvare eller infrastruktur, og skape sikkerhetsrisikoer som dagens AI-sikkerhetsforskning ikke er fullt rustet til å håndtere.

"Disse vurderingene taler for å behandle RSI-sikkerhet som en sentral forskningsprioritet, ikke en sekundær bekymring," sa han.

Dagens litteratur om sikring av systemer som kan rekursivt endre seg selv er fortsatt begrenset, sier forskerne.

OpenAI gjentar lignende bekymringer

Anthropic er ikke alene om å fremheve rekursiv selvforbedring som en potensiell utfordring.

OpenAI, Anthropics primære rival, reiste også saken denne uken som en del av sin offentlige politikkagenda.

ChatGPT-produsenten ba om en føderal ramme som vil styrke tilsynet med avanserte AI-systemer og støtte overvåking av fremgangen mot rekursiv selvforbedring.

"Vi støtter også kongressens tiltak for å etablere en omfattende føderal ramme," sa OpenAI, og argumenterte for at den amerikanske regjeringen bør utvide evalueringsinnsatsen for de mest kapable frontier-modellene og utvikle et uavhengig økosystem for å vurdere sikkerhetsrisikoer.

"Denne rammen bør kreve at CAISI gjennomfører evalueringsstudier av de mest kapable frontier-modellene, instruere CAISI om å skape et uavhengig vurderingsøkosystem, og prioritere overvåking av fremgang mot rekursiv selvforbedring (RSI)," het det.

Det faktum at to av verdens mest innflytelsesrike AI-selskaper nå offentlig diskuterer rekursiv selvforbedring, tyder på at saken beveger seg fra teoretisk debatt til mainstream politiske diskusjoner.

En advarsel midt i en blomstrende AI-bransje

Anthropics oppfordring til forsiktighet kommer på et tidspunkt da selskapet selv høster enorme fordeler av AI-boomen.

Selskapet fullførte nylig en finansieringsrunde som verdsatte det til nesten $1 trillion og har konfidensielt innlevert papirene for en børsnotering.

Inntektsveksten har vært like dramatisk.

Anthropics annualiserte inntektsrunrate forventes å nå omtrent $50 billion innen utgangen av denne måneden, opp fra $9 billion ved slutten av 2025.

Den raske veksten har bidratt til å plassere selskapet som en av de ledende utfordrerne til OpenAI i kampen om AI-tiltak.

Tidspunktet for deres siste sikkerhetssatsing har derfor fornyet kritikk fra noen observatører som mener at krav om strengere tilsyn kan gagne etablerte AI-ledere ved å øke barrierene for konkurranse.

Kritikere stiller spørsmål ved Anthropics motiver

Anthropic har lenge blitt møtt med beskyldninger om at deres sikkerhetsforkjempelse kan tjene kommersielle interesser.

En av kritikerne er venturekapitalist David Sacks, en uformell rådgiver for president Donald Trump, som har anklaget selskapet for å forfølge en "regulatory capture agenda."

På en nylig podkast advarte Sacks om at Washingtons "regulatory capture agenda" kan føre til et forbud mot open-source AI-modeller—systemer som gir organisasjoner en langt billigere måte å bygge og bruke AI internt på.

Andre har antydet at offentlige advarsler om kraftige AI-systemer også kan fungere som en form for markedsføring ved å fremheve sofistikeringen i Anthropics teknologi.

Selskapets begrensede utgivelse av sin cybersikkerhetsfokuserte Mythos-modell har ofte blitt nevnt av skeptikere som mener at sikkerhetsbudskap også kan vise frem produktkapasiteter.

Anthropic avviser disse kritikkene og fastholder at deres fokus på sikkerhet går foran den nåværende AI-boomen.

En bransje delt om AI‑fremtiden

Dekbatten reflekterer en bredere splittelse i AI-bransjen om hvor nær dagens systemer er å oppnå menneskelignende intelligens eller selvforbedringskapasiteter.

Noen forskere, inkludert AI-pioneren og tidligere Meta-sjefsforsker på AI Yann LeCun, har hevdet at dagens store språkmodeller er fundamentalt begrenset og lite sannsynlig vil oppnå menneskelignende intelligens.

LeCun har gjentatte ganger avfeid eksistensielle frykter knyttet til AI og sammenlignet dagens systemer med intelligensnivået til en katt snarere enn et menneske.

Andre, inkludert Anthropics administrerende direktør Dario Amodei, har inntatt en langt mer forsiktig holdning.

Amodei har advart om at avansert AI kan øke ulikhet betydelig, eliminere store antall inngangsnivå kontorjobber og potensielt utvikle skadelig atferd på uforutsigbare måter.

Jack Clark har på samme måte hevdet at rekursiv selvforbedring kan komme innen år snarere enn tiår.

"Den teknologiklassen har aldri eksistert før, og likevel tror jeg dette kan skje innen de neste to årene, og muligens tidligere," sa Clark under en forelesning i London forrige måned.

Utfordringen med å bremse AI

Anthropic erkjenner at enhver innsats for å pause eller bremse AI-utvikling bare vil fungere hvis de største aktørene deltar.

Selskapet foreslo derfor å utforske internasjonale avtaler og verifiseringsmekanismer utformet for å sikre etterlevelse.

Det innrømmet imidlertid også at overvåking av AI-utvikling kan være betydelig vanskeligere enn håndheving av tradisjonelle nedrustningsavtaler.

"Treningskjøringer er langt enklere å skjule enn missilsiloer," bemerket blogginnlegget.

Selskapet advarte om at enhver aktør som fortsetter utviklingen mens konkurrenter pauser, kan oppnå en betydelig fordel, noe som gjør koordinering usedvanlig vanskelig.

Foreløpig planlegger Anthropic å organisere diskusjoner med beslutningstakere, forskere og bransjeledere for å undersøke hvordan rekursiv selvforbedring bør studeres og om mekanismer for koordinerte oppbremsinger noen gang kan være praktiske.