Anthropicin tutkija eroaa: tekoälyllä pelataan hengillä – sukupuutoriski yli 10 %

Anthropicin tutkija Jacob Coxon on eronnut Anthropicista ja varoitti, että etulinjan laboratoriot rientävät kohti järjestelmiä, joita ne eivät välttämättä pysty hallitsemaan.

Coxon, joka vietti kolme vuotta esikoulutustutkimusta tehden OpenAI:ssa ja Anthropicissa, sanoi, että molemmat yhtiöt tavoittelevat itseään parantavaa superälyä ottaen samalla riskejä, joiden kiihdyttämiseen hän ei halua enää osallistua.

Hänen lähtönsä sai lisää painoarvoa, kun Anthropicin Alignment Science -tiimin johtaja Evan Hubinger sanoi henkilökohtaisesti näkevänsä yli 10 prosentin todennäköisyyden sille, että tekoäly voisi tappaa kaikki ihmiset seuraavan vuosikymmenen aikana.

Luku on Hubingerin oma arvio, ei Anthropicin ennuste, ja hän korosti, että nykyiset mallit aiheuttavat suhteellisen pienen riskin.

Coxon sanoo, että itse kilpajuoksu on ongelma

Coxon ei yksinkertaisesti väitä, että Anthropic laiminlyö turvallisuutta.

Ilmoittaessaan erostaan hän sanoi Anthropicin työntekijöiden ymmärtävän panokset, mutta olevan lukittautuneita kilpailuun, joka palkitsee nopeamman etenemisen, koska muutoin jokin toinen laboratorio saattaisi saavuttaa superälyn ensin.

“Ne rientävät suoraan itseään parantavaan superälyyn ja pelaavat hengillämme,” Coxon kirjoitti.

Tutkija on päättänyt jättää tekoälyalan, koska hän ei halua enää osallistua järjestelmien rakentamiseen, jotka saattaisivat muuttua hallitsemattomiksi.

Hän kertoi Wall Street Journalille, että aggressiivisissa skenaarioissa tilanne voisi ensi vuoden loppuun mennessä olla “hallinnan ulkopuolella”.

Aikataulu on Coxonin arvio. Mutta hänen väitteensä nostaa vaikeamman hallintokysymyksen: yritys voi suhtautua turvallisuuteen vakavasti ja silti myötävaikuttaa vaaralliseen kilpailuun, jos kilpailupaine tekee hidastamisesta mahdotonta.

Se kyseenalaistaa ajatuksen, että yksittäisten yritysten paremmat turvallisuuskulttuurit riittäisivät.

Lue myös - Anthropic–Pentagonin yhteenotto nostaa keskeisen kysymyksen: kuka on vastuussa, jos tekoäly tappaa?

Hubingerin 10 prosentin arvio paljastaa ristiriidan

Hubingerin vastaus muutti eroilmoituksen laajemmaksi keskusteluksi etulinjan tekoälystä.

Anthropicin Alignment Science -tiimin johtaja sanoi, että etulinjan tekoälytutkijat todellakin uskovat, että kehittynyt tekoäly voisi tappaa ihmiskunnan. Hänen oma arvionsa asettaa tuon riskin yli 10 prosentin tasolle seuraavan vuosikymmenen aikana.

Hän sanoi myös, että Anthropic "tekee parhaansa", mutta myönsi, ettei yhtiöllä vielä ole suunnitelmaa superälyn tavoitteiden yhteensovittamisen ratkaisemiseksi eikä selkeää näyttöä siitä, että se olisi matkalla siihen.

Hubinger täsmensi myöhemmin, että hän pitää nykymallien aiheuttamaa riskiä pienenä. Hänen huolensa kohdistuu tulevaan superälyyn, joka voisi syntyä rekursiivisen itseparannuksen kautta, kun tekoälyjärjestelmät yhä enenevässä määrin auttavat suunnittelemaan ja parantamaan seuraajiaan.

Anthropic on julkisesti todennut, että rekursiivinen itseparannus ei ole väistämätöntä, mutta se voi saapua nopeammin kuin instituutiot ovat siihen valmistautuneet ja lisätä ihmisten kontrollin menettämisen riskiä.

Ristiriitaa on vaikea sivuuttaa: tutkijat yrittävät ratkaista tavoitteiden yhteensovittamista samalla, kun heidän tutkimaansa järjestelmät kehittyvät yhä kykenevämmiksi.

Kilpailun hillitseminen voi olla vaikeampaa kuin tavoitteiden yhteensovittaminen

Coxonin ero viittaa lopulta pidemmälle kuin yhteen yritykseen.

Jos johtavat laboratoriot uskaltavat hidastaa kehitystä vain sillä ehdolla, että se ei anna kilpailuetua kilpailijalle, vakavat sisäiset huolet eivät välttämättä johda kehityksen hidastumiseen.

Tekoälytutkija Gary Marcus sanoi Techmemen mukaan, ettei hän ollut samaa mieltä jokaisen Coxonin argumentin kohdan kanssa, mutta piti sitä "vakuuttavana ja sisältä päin informoituna" ja katsoi, että se ansaitsee tulla kuulluksi.

Se toimii hyödyllisenä vastapainona, koska väitteet sukupuuton todennäköisyyksistä ja superälyn aikatauluista ovat edelleen syvästi epävarmoja.

Anthropic voi sijoittaa tavoitteiden yhteensovittamisen tutkimukseen, julkaista riskiraportteja ja rakentaa suojamekanismeja, toimien kuitenkin markkinassa, jossa OpenAI ja muut kilpailijat työstävät kyvykkyyksiä eteenpäin.

Coxonin lähtö kysyy, mitä tapahtuu, kun näissä laboratorioissa työskentelevät tutkijat katsovat haitan olevan merkittävä, myöntävät, ettei kontrolli ole ratkaistu, ja kohtaavat silti kannustimia jatkaa kilpajuoksua.