Výzkumník Anthropic odchází kvůli AI „hazardu s životy“; riziko vyhynutí přesahuje 10%

Výzkumník Anthropic Jacob Coxon odstoupil z Anthropic s přímým varováním: špičková laboratoře směřují k systémům, které nakonec nemusí být schopné kontrolovat.

Coxon, který strávil tři roky výzkumem pretrainingu v OpenAI i Anthropic, uvedl, že obě společnosti usilují o samo‑vylepšující se superinteligenci a podstupují rizika, která už nechce pomáhat urychlovat.

Jeho odchod získal váhu poté, co Evan Hubinger, vedoucí oddělení Alignment Science v Anthropic, řekl, že osobně vidí více než 10% šanci, že by AI mohla během příští dekády zabít všechny lidi.

Toto číslo je Hubingerův vlastní odhad, nikoli předpověď Anthropic, a zdůraznil, že současné modely představují relativně nízké riziko.

Coxon říká, že problém je samotný závod

Coxon netvrdí jen, že Anthropic ignoruje bezpečnost.

Ve svém oznámení o rezignaci uvedl, že lidé v Anthropic chápou potenciální důsledky, ale zůstávají uvězněni v soutěži, která odměňuje rychlejší postup, protože jinak by mohla jiná laboratoř dosáhnout superinteligence první.

„Směřují přímo k samo‑vylepšující se superinteligenci a hazardují s našimi životy,“ napsal Coxon.

Výzkumník se rozhodl opustit průmysl AI, protože už nechce účinně přispívat k vytváření systémů, které by se mohly stát nekontrolovatelnými.

V rozhovoru pro Wall Street Journal řekl, že v agresivních scénářích by věci mohly být „mimo kontrolu“ do konce příštího roku.

Tento časový rámec zůstává Coxonovým odhadem. Jeho argument však vyvolává těžší otázku řízení: společnost může brát bezpečnost vážně a přesto přispívat k nebezpečnému závodu, pokud konkurenční tlak ztěžuje zpomalení.

To zpochybňuje představu, že lepší bezpečnostní kultura v jednotlivých firmách je sama o sobě dostačující.

Také čtěte – Spor Anthropic–Pentagon vyvolává zásadní otázku: kdo je odpovědný, pokud AI zabije?

Hubingerův odhad 10 % odhaluje rozpor

Hubingerova reakce proměnila rezignaci v širší debatu o špičkové AI.

Vedoucí Alignment Science v Anthropic uvedl, že výzkumníci v oblasti špičkové AI skutečně věří, že pokročilá AI by mohla zabít lidstvo. Jeho vlastní odhad staví toto riziko nad 10 % v následující dekádě.

Dodal také, že Anthropic „dělá, co může“, přičemž přiznal, že společnost zatím nemá plán na vyřešení alignmentu pro superinteligenci a není jasné, že by byla na dobré cestě to zvládnout.

Hubinger později upřesnil, že riziko plynoucí ze současných modelů považuje za nízké. Jeho obava se soustředí na budoucí superinteligenci vzniklou skrze rekurzivní sebezdokonalování, kdy AI systémy čím dál tím více pomáhají navrhovat a zlepšovat své následovníky.

Anthropic veřejně uvedl, že rekurzivní sebezdokonalování není nevyhnutelné, ale může přijít dříve, než jsou instituce připraveny, a může zvýšit riziko ztráty kontroly lidmi.

Tento rozpor je těžké přehlédnout: vědci se snaží vyřešit alignment, zatímco systémy, které zkoumají, se nadále stávají schopnějšími.

Konkurenci může být těžší vyřešit než zarovnání

Coxonova rezignace nakonec míří za hranice jedné firmy.

Pokud vedoucí laboratoře věří, že zpomalení by mohlo dát výhodu konkurentovi, vážné interní obavy se nemusí promítnout do zpomalení vývoje.

AI výzkumník Gary Marcus v komentářích, které citoval Techmeme, uvedl, že s každou částí Coxonova argumentu nesouhlasí, ale považuje ho za „přesvědčivý a informovaný zevnitř“ a říká, že zasluhuje pozornost.

To poskytuje užitečnou protiváhu, protože tvrzení o pravděpodobnostech vyhynutí a časových osách superinteligence zůstávají hluboce nejistá.

Anthropic může investovat do výzkumu alignmentu, publikovat zprávy o rizicích a budovat ochranná opatření, přičemž stále funguje na trhu, kde OpenAI a další konkurenti posouvají schopnosti vpřed.

Coxonův odchod klade otázku, co se stane, když výzkumníci uvnitř těchto laboratoří považují potenciální škody za materiální, připouštějí, že kontrola není vyřešená, a přesto čelí pobídkám pokračovat v závodění.