Recursiv selvforbedring: Derfor vil Anthropic sænke AI-udviklingen

Efterhånden som kapløbet om at bygge stadig mere kraftfulde kunstige intelligenssystemer accelererer, opfordrer en af branchens førende aktører verden til at overveje en mulighed, som indtil for nylig hovedsageligt hørte hjemme i science fiction: maskiner, der forbedrer sig selv uden menneskelig indgriben.

Anthropic, AI-virksomheden bag Claude, sagde torsdag, at evnen til at bremse tempoet i frontlinje-AI-udviklingen kan vise sig værdifuld, efterhånden som teknologien nærmer sig kapaciteter, der potentielt kan ændre samfundet grundlæggende.

Advarslen kom i et blogindlæg skrevet af Marina Favaro, leder af Anthropics interne forskningsinstitut, og virksomhedens medstifter Jack Clark.

Indlægget offentliggjorde intern forskning, der viser, at firmaets mest avancerede modeller udvikler sig hurtigt og muligvis på sigt kan bevæge sig mod det, forskere kalder "recursiv selvforbedring" — et scenarie, hvor AI-systemer bliver i stand til at forbedre deres egne evner.

Virksomheden understregede, at en sådan tærskel endnu ikke er nået og måske aldrig bliver det.

Den hævdede dog, at muligheden er ved at blive alvorlig nok til, at der bør forberedes mod den.

"AI, der kan bygge sig selv, ville være en væsentlig udvikling i teknologiens historie — en, der kunne bringe enorme fordele for verden inden for videnskab, sundhedsvæsen og videre," skrev indlægget.

Det advarede dog også om, at fuld recursiv selvforbedring kunne øge risikoen for, at mennesker mister kontrollen over AI-systemer.

"Hvis systemer er i stand til fuldt ud at bygge deres egne efterfølgere, bliver måderne, vi sikrer dem på, overvåger dem på og former deres adfærd, langt vigtigere," lød det i indlægget.

"Vi mener, det ville være godt for verden at have mulighed for at bremse eller midlertidigt pause frontlinje-AI-udviklingen, så samfundsmæssige strukturer og forskning i alignment kan følge med teknologiens fremskridt," tilføjede det.

Hvad recursiv selvforbedring betyder

Recursiv selvforbedring, ofte forkortet RSI, refererer til en proces, hvor et AI-system bruger sine nuværende evner til at gøre sig selv bedre.

I modsætning til konventionel software, som kun ændres, når menneskelige programmører ændrer dens kode, kan avancerede AI-systemer allerede skrive software, analysere resultater, teste hypoteser og generere løsninger på komplekse problemer.

Forskere forestiller sig et fremtidigt system, der kan identificere et problem, skrive kode for at løse det, evaluere resultatet, lære af det og derefter gentage processen løbende med ringe eller ingen menneskelig overvågning.

Hver forbedring kan potentielt gøre den næste forbedring lettere og skabe en feedback-loop, der accelererer fremskridtet.

Mens eksperter er uenige om, hvor sandsynligt eller hvor nærværende sådanne kapaciteter er, er konceptet blevet et centralt emne i diskussioner om sikkerheden ved avanceret AI.

Anthropic advarede om, at recursiv selvforbedring "kunne komme hurtigere, end de fleste institutioner er forberedte på."

Hvorfor forskere ser risici

Muligheden for selvforbedrende systemer har vakt bekymring hos nogle akademikere og politikere, fordi det indfører nye sikkerheds- og styringsudfordringer.

Ifølge Azizi Othman fra Asia e University kan systemer, der er i stand til at modificere deres egen kode, blive attraktive mål for ondsindede aktører.

"Et system, der ændrer sin egen kode, kan gøres til at acceptere bagdøre eller skjulte instruktioner gennem veltilrettelagte angrebsssekvenser," sagde Othman.

Han advarede om, at sådanne systemer også potentielt kunne foretage adversariel modifikation af anden software eller infrastruktur og dermed skabe sikkerhedsrisici, som den nuværende AI-sikkerhedsforskning ikke fuldt ud er rustet til at håndtere.

"Disse overvejelser taler for at behandle RSI-sikkerhed som en central forskningsprioritet, ikke en sekundær bekymring," sagde han.

Den nuværende litteratur om sikring af systemer, der er i stand til recursiv selvmodifikation, er fortsat begrænset, siger forskere.

OpenAI giver ekko af lignende bekymringer

Anthropic er ikke alene om at fremhæve recursiv selvforbedring som en potentiel udfordring.

OpenAI, Anthropics primære rival, rejste også spørgsmålet i denne uge som en del af sin offentlige politiske dagsorden.

ChatGPT-skaberen opfordrede til et føderalt rammeværk, der ville styrke tilsynet med avancerede AI-systemer og støtte overvågning af fremskridt mod recursiv selvforbedring.

"Vi støtter også Kongressens handling for at etablere et omfattende føderalt rammeværk," sagde OpenAI og argumenterede for, at den amerikanske regering bør udvide evalueringsindsatsen for de mest kapable frontier-modeller og udvikle et uafhængigt økosystem til vurdering af sikkerhedsrisici.

"Dette rammeværk bør kræve, at CAISI gennemfører evalueringer af de mest kapable frontier-modeller, instruere CAISI i at skabe et uafhængigt vurderingsøkosystem og prioritere overvågning af fremskridt mod recursiv selvforbedring (RSI)," lød det.

Det faktum, at to af verdens mest indflydelsesrige AI-virksomheder nu offentligt diskuterer recursiv selvforbedring, antyder, at emnet bevæger sig fra teoretisk debat til mainstream politiske diskussioner.

En advarsel midt i en blomstrende AI-forretning

Anthropics opfordring til forsigtighed kommer på et tidspunkt, hvor virksomheden selv høster enorme fordele af AI-boomet.

Virksomheden afsluttede for nylig en finansieringsrunde, der værdisatte den til næsten $1 trillion, og har konfidensielt indsendt papirarbejde til en børsintroduktion.

Dens omsætningsvækst har været lige så dramatisk.

Anthropics annualiserede omsætningshastighed forventes at nå cirka $50 billioner ved udgangen af denne måned, op fra $9 billioner ved udgangen af 2025.

Den hurtige vækst har hjulpet med at positionere virksomheden som en af de førende udfordrere til OpenAI i kampen om AI-yderskab.

Tidspunktet for dets seneste sikkerhedspres har derfor genoplivet kritik fra nogle observatører, som hævder, at opfordringer til strengere tilsyn kan gavne etablerede AI-ledere ved at hæve barrierer for konkurrence.

Kritikere stiller spørgsmål ved Anthropics motiver

Anthropic har længe stået over for anklager om, at dets sikkerhedsforkæmpelse kan tjene kommercielle interesser.

Blandt dets kritikere er venturekapitalisten David Sacks, en uformel rådgiver for præsident Donald Trump, som har anklaget virksomheden for at forfølge en "agenda for regulatorisk indfangning."

I en nylig podcast advarede Sacks om, at Washingtons "agenda for regulatorisk indfangning" kunne føre til et forbud mod open source-AI-modeller — systemer, der giver organisationer en langt billigere måde at bygge og bruge AI internt på.

Andre har antydet, at offentlige advarsler om kraftfulde AI-systemer kan fungere som en form for markedsføring ved at fremhæve Anthropics teknologis sofistikation.

Virksomhedens begrænsede frigivelse af sin cybersikkerhedsorienterede Mythos-model er ofte blevet citeret af skeptikere som et eksempel på, at sikkerhedsbudskaber også kan fremvise produktets kapaciteter.

Anthropic afviser disse kritikpunkter og hævder, at dets fokus på sikkerhed ligger forud for det nuværende AI-boom.

En branche delt om AIs fremtid

Debatten afspejler en bredere splittelse i AI-branchen om, hvor tæt nuværende systemer er på at opnå menneskelignende intelligens eller selvforbedrende kapaciteter.

Nogle forskere, herunder AI-pioneren og tidligere Meta-chef for AI-forskning Yann LeCun, har hævdet, at nutidens store sprogmodeller fundamentalt er begrænsede og usandsynligt vil opnå menneskelig intelligens.

LeCun har gentagne gange afvist eksistentielle frygt omkring AI og sammenlignet nutidens systemer med intelligensniveauet hos en kat snarere end et menneske.

Andre, herunder Anthropics administrerende direktør Dario Amodei, har indtaget en langt mere forsigtig holdning.

Amodei har advaret om, at avanceret AI i betydelig grad kan øge ulighed, fjerne et stort antal entry-level hvidkravejob og potentielt udvikle skadelig adfærd på uforudsigelige måder.

Jack Clark har på lignende vis argumenteret for, at recursiv selvforbedring kunne ankomme inden for år snarere end årtier.

"Den klasse af teknologi har aldrig eksisteret før, og alligevel tror jeg, dette kan ske inden for de næste to år, og muligvis endnu før," sagde Clark under en forelæsning i London sidste måned.

Udfordringen ved at bremse AI

Anthropic anerkender, at ethvert forsøg på at pause eller bremse AI-udviklingen kun vil fungere, hvis de store aktører deltager.

Virksomheden foreslog derfor at udforske internationale aftaler og verifikationsmekanismer designet til at sikre overholdelse.

Den indrømmede dog også, at overvågning af AI-udvikling kan være betydeligt sværere end håndhævelse af traditionelle aftaler om våbenkontrol.

"Træningskørsler er langt nemmere at skjule end missilsiloer," bemærkede blogindlægget.

Virksomheden advarede om, at enhver aktør, der fortsætter udviklingen, mens konkurrenter pauser, kunne få en betydelig fordel, hvilket gør koordination yderst vanskelig.

For nu planlægger Anthropic at organisere drøftelser med politikere, forskere og brancheledere for at undersøge, hvordan recursiv selvforbedring bør studeres, og om mekanismer til koordinerede nedbremsninger nogensinde kan blive praktiske.