Cercetător Anthropic demisionează: IA „joacă cu vieți”; riscul de extincție depășește 10%

Cercetătorul Anthropic Jacob Coxon a demisionat de la Anthropic cu un avertisment sever: laboratoarele de frontieră se grăbesc către sisteme pe care, în cele din urmă, s-ar putea să nu le poată controla.

Coxon, care a petrecut trei ani făcând cercetare în pretraining la OpenAI și Anthropic, a spus că ambele companii urmăresc o superinteligență auto-îmbunătățitoare, asumând riscuri pe care el nu mai vrea să le accelereze.

Plecare lui a căpătat greutate după ce Evan Hubinger, responsabilul Anthropic pentru Alignment Science, a afirmat că el personal evaluează o probabilitate de peste 10% ca IA să poată ucide toți oamenii în următorul deceniu.

Această estimare îi aparține lui Hubinger, nu este o prognoză a Anthropic, iar el a subliniat că modelele prezente prezintă un risc relativ scăzut.

Coxon spune că problema este însăşi cursa

Coxon nu susține pur și simplu că Anthropic ignoră siguranța.

Anunțând demisia, el a spus că oamenii de la Anthropic înțeleg mizele potențiale, dar rămân blocați într-o competiție care recompensează mișcarea mai rapidă deoarece alt laborator ar putea atinge primul superinteligența.

„Aleargă direct către o superinteligență auto-îmbunătățitoare și joacă cu viețile noastre,” a scris Coxon.

Cercetătorul a decis să părăsească industria IA pentru că nu mai vrea să participe la construirea unor sisteme care ar putea deveni de necontrolat.

El a declarat pentru Wall Street Journal că, în scenarii agresive, situația ar putea fi „scăpată de sub control” până la sfârșitul anului viitor.

Acest calendar rămâne o apreciere a lui Coxon. Dar argumentul său ridică o problemă mai dificilă de guvernanță: o companie poate trata cu seriozitate siguranța și totuși să contribuie la o cursă periculoasă dacă presiunea competitivă face ca încetinirea să pară imposibilă.

Aceasta pune sub semnul întrebării ideea că o cultură a siguranței mai bună în cadrul fiecărei companii ar fi suficientă.

Citește și- Confruntarea Anthropic-Pentagon ridică o întrebare cheie: cine este de vină dacă IA ucide?

Estimarea de 10% a lui Hubinger expune contradicția

Răspunsul lui Hubinger a transformat demisia într-o dezbatere mai largă despre IA de frontieră.

Responsabilul Anthropic pentru Alignment Science a spus că cercetătorii din domeniul IA de frontieră cred cu adevărat că IA avansată ar putea ucide omenirea. Propria sa estimare plasează acest risc peste 10% în următorul deceniu.

El a mai spus că Anthropic „face tot ce poate”, recunoscând în același timp că firma nu are încă un plan pentru a rezolva alinierea pentru superinteligență și nu este clar că este pe drumul cel bun pentru asta.

Ulterior, Hubinger a clarificat că el consideră riscul provenit din modelele actuale drept scăzut. Grija sa se concentrează pe o viitoare superinteligență care ar apărea prin auto-îmbunătățire recursivă, unde sistemele IA ajută tot mai mult la proiectarea și îmbunătățirea succesorilor lor.

Anthropic a declarat public că auto-îmbunătățirea recursivă nu este inevitabilă, dar ar putea apărea mai devreme decât sunt pregătite instituțiile și ar putea crește riscul ca oamenii să piardă controlul.

Contradicția este greu de ignorat: cercetătorii încearcă să rezolve alinierea în timp ce sistemele pe care le studiază devin tot mai capabile.

Competiția poate fi mai greu de rezolvat decât alinierea

Demisia lui Coxon indică, în ultimă instanță, dincolo de o singură companie.

Dacă laboratoarele de vârf cred că încetinirea ar putea oferi un avantaj unui rival, preocupările interne serioase s-ar putea să nu se traducă în dezvoltare mai lentă.

Cercetătorul în IA Gary Marcus a spus, în comentarii relatate de Techmeme, că nu este de acord cu toate părțile argumentului lui Coxon, dar l-a găsit „convingător și informat din interior” și a spus că merită să fie ascultat.

Aceasta reprezintă un contrabalans util, deoarece afirmațiile despre probabilitățile de extincție și calendarele superinteligenței rămân profund incerte.

Anthropic poate investi în cercetare pentru aliniere, publica rapoarte de risc și construi măsuri de protecție, operând în același timp pe o piață în care OpenAI și alți rivali împing înainte capacitățile.

Plecarea lui Coxon pune întrebarea ce se întâmplă atunci când cercetătorii din acele laboratoare consideră că impactul negativ este substanțial, recunosc că controlul nu este rezolvat și, totuși, se confruntă cu stimulente de a continua cursa.