Badacz Anthropic rezygnuje: AI „hazarduje życiem”; ryzyko wyginięcia >10%

Badacz Anthropic Jacob Coxon zrezygnował z pracy w Anthropic, wysyłając ostre ostrzeżenie: laboratoria pracujące nad przełomowymi systemami AI pędzą w stronę systemów, którymi ostatecznie mogą nie być w stanie zapanować.

Coxon, który przez trzy lata prowadził badania nad wstępnym treningiem modeli w OpenAI i Anthropic, powiedział, że obie firmy dążą do samodoskonalącej się superinteligencji, podejmując ryzyka, których już nie chce przyspieszać.

Jego odejście nabrało znaczenia po tym, jak Evan Hubinger, kierownik ds. badań nad alignmentem w Anthropic, stwierdził, że osobiście ocenia ponad 10% szans, że AI mogłoby zabić wszystkich ludzi w ciągu następnej dekady.

Ta liczba to własna ocena Hubingera, a nie prognoza Anthropic; podkreślił przy tym, że obecne modele stwarzają stosunkowo niskie ryzyko.

Coxon: sam wyścig jest problemem

Coxon nie twierdzi po prostu, że Anthropic ignoruje bezpieczeństwo.

Ogłaszając rezygnację, powiedział, że osoby w Anthropic rozumieją potencjalne stawki, ale pozostają uwikłane w konkurencję, która nagradza szybsze tempo, ponieważ w przeciwnym razie inne laboratorium mogłoby jako pierwsze osiągnąć superinteligencję.

„Pędzą prosto w stronę samodoskonalącej się superinteligencji i hazardują naszym życiem” — napisał Coxon.

Badacz postanowił opuścić branżę AI, ponieważ nie chce już uczestniczyć w tworzeniu systemów, które mogłyby stać się niekontrolowalne.

Powiedział Wall Street Journal, że w agresywnych scenariuszach sytuacja może być „poza kontrolą” do końca przyszłego roku.

Ten harmonogram pozostaje oceną Coxona. Jednak jego argument stawia trudniejsze pytanie o zarządzanie: firma może traktować bezpieczeństwo poważnie, a mimo to przyczyniać się do niebezpiecznego wyścigu, jeśli presja konkurencyjna sprawia, że zwolnienie tempa wydaje się niemożliwe.

To podważa przekonanie, że lepsza kultura bezpieczeństwa w pojedynczych firmach wystarczy.

Przeczytaj także — Starcie Anthropic z Pentagonem stawia kluczowe pytanie: kto ponosi winę, jeśli AI zabije?

Ocena 10% Hubingera ujawnia sprzeczność

Reakcja Hubingera zamieniła rezygnację w szerszą debatę o przełomowej AI.

Szef zespołu ds. nauki o alignmentie w Anthropic powiedział, że badacze w obszarze przełomowej AI rzeczywiście uważają, że zaawansowana AI mogłaby zabić ludzkość. Jego własna ocena stawia to ryzyko powyżej 10% w ciągu następnej dekady.

Dodał też, że Anthropic „robi, co w jego mocy”, przyznając jednocześnie, że firma nie ma jeszcze planu na rozwiązanie problemu alignmentu dla superinteligencji i nie jest jasne, czy jest na właściwej drodze, by tego dokonać.

Hubinger później doprecyzował, że uważa ryzyko ze strony obecnych modeli za niskie. Jego obawy dotyczą przyszłej superinteligencji powstającej poprzez rekursywne samodoskonalenie, w którym systemy AI coraz częściej pomagają projektować i ulepszać swoje następne wersje.

Anthropic publicznie stwierdził, że rekursywne samodoskonalenie nie jest nieuchronne, ale może pojawić się szybciej, niż instytucje są na to przygotowane, i może zwiększyć ryzyko utraty kontroli przez ludzi.

Sprzeczności trudno zignorować: badacze próbują rozwiązać problem alignmentu, podczas gdy systemy, które badają, stają się coraz bardziej zdolne.

Konkurencję może być trudniej rozwiązać niż problem alignmentu

Rezygnacja Coxona ostatecznie wykracza poza jedną firmę.

Jeśli wiodące laboratoria wierzą, że zwolnienie tempa mogłoby dać przewagę rywalowi, poważne wewnętrzne obawy mogą nie przełożyć się na wolniejszy rozwój.

Badacz AI Gary Marcus powiedział, w komentarzach cytowanych przez Techmeme, że nie zgadza się z każdym elementem argumentu Coxona, ale uznał go za „przekonujący i oparty na wiedzy od środka” oraz za zasługujący na wysłuchanie.

To użyteczna przeciwwaga, ponieważ twierdzenia o prawdopodobieństwie wyginięcia i harmonogramach osiągnięcia superinteligencji pozostają głęboko niepewne.

Anthropic może inwestować w badania nad alignmentem, publikować raporty o ryzyku i budować zabezpieczenia, jednocześnie działając na rynku, gdzie OpenAI i inni rywale posuwają możliwości naprzód.

Odejście Coxona stawia pytanie, co się dzieje, gdy badacze w tych laboratoriach uważają, że potencjalne straty są istotne, przyznają, że kontrola nie jest rozwiązana, a mimo to mają motywacje, by dalej prowadzić wyścig.