Anthropic araştırmacısı istifa etti: Yapay zekâ 'hayatlarla kumar' — yok olma riski %10+

Anthropic araştırmacısı Jacob Coxon, Anthropic'ten sert bir uyarıyla istifa etti: öncü laboratuvarlar nihayetinde kontrol edemeyebilecekleri sistemlere doğru hızla ilerliyor.

OpenAI ve Anthropic'te üç yıl boyunca ön eğitim (pretraining) araştırması yapan Coxon, her iki şirketin de kendini geliştiren süperzekâ peşinde koştuğunu ve artık hızlandırılmasına yardımcı olmak istemediği riskler aldıklarını söyledi.

Ayrıca Anthropic'in Alignment Science lideri Evan Hubinger, kişisel olarak yapay zekânın önümüzdeki on yıl içinde tüm insanları öldürme olasılığını %10'un üzerinde gördüğünü söyleyince, Coxon'un ayrılığı daha da dikkat çekti.

Bu rakam Hubinger'ın kendi tahmini olup Anthropic'in resmi bir öngörüsü değildir ve Hubinger mevcut modellerin göreceli olarak düşük risk taşıdığını vurguladı.

Coxon: Sorun yarışın kendisi

Coxon, yalnızca Anthropic'in güvenliği görmezden geldiğini söylemiyor.

İstifasını duyururken, Anthropic'teki kişilerin potansiyel risklerin farkında olduklarını ancak başka bir laboratuvarın süperzekâya ilk ulaşma olasılığı nedeniyle daha hızlı hareket etmeyi ödüllendiren bir rekabete kilitlendiklerini söyledi.

“Doğrudan kendini geliştiren süperzekâya doğru hızla koşuyorlar ve hayatlarımızla kumar oynuyorlar,” diye yazdı Coxon.

Araştırmacı, kontrolü kaybedebilecek sistemler inşa etme sürecine artık katkıda bulunmak istemediği için yapay zekâ endüstrisinden ayrılmaya karar verdi.

Wall Street Journal'a verdiği demeçte, agresif senaryolarda işlerin gelecek yılın sonuna kadar “kontrolden çıkabileceğini” söyledi.

Bu zaman çizelgesi Coxon'un değerlendirmesi olarak kalıyor. Ancak argümanı daha zor bir yönetişim sorusunu gündeme getiriyor: bir şirket güvenliği ciddiye alabilir ve yine de rekabet baskısı yavaşlamayı imkânsız hale getirdiğinde tehlikeli bir yarışa katkıda bulunabilir.

Bu, tek tek şirketlerin içindeki daha iyi güvenlik kültürlerinin yeterli olduğu fikrini sorgulatıyor.

Ayrıca oku- Anthropic-Pentagon çatışması kilit soruyu gündeme getiriyor: Yapay zekâ insanları öldürürse suçlu kim?

Hubinger'ın %10'luk tahmini çelişkiyi ortaya koyuyor

Hubinger'in yanıtı, istifayı sınır yapay zekâsı üzerine daha geniş bir tartışmaya dönüştürdü.

Anthropic'in Alignment Science lideri, sınır yapay zekâsı içindeki araştırmacıların gelişmiş yapay zekânın insanlığı yok edebileceğine gerçekten inandıklarını söyledi. Kendi tahmini, önümüzdeki on yıl içinde bu riski %10'un üzerine koyuyor.

Hubinger ayrıca Anthropic'in “elinden geleni yaptığını” söylerken şirketin henüz süperzekâ için uyumu çözmeye yönelik bir planı olmadığını ve bunun için açık bir yol haritasında görünmediğini kabul etti.

Hubinger daha sonra mevcut modellerden kaynaklanan riski düşük gördüğünü netleştirdi. Endişesi, yapay zekâ sistemlerinin giderek kendi takipçilerini tasarlayıp geliştirmeye yardımcı olduğu özyinelemeli kendi kendini geliştirme yoluyla ortaya çıkacak gelecekteki süperzekâ etrafında yoğunlaşıyor.

Anthropic kamuoyuna, özyinelemeli kendi kendini geliştirmenin kaçınılmaz olmadığını ancak kurumların hazır olmadan önce ortaya çıkabileceğini ve insanların kontrolü kaybetme riskini artırabileceğini söyledi.

Çelişki göz ardı edilmesi zor: araştırmacılar uyumu çözmeye çalışırken, inceledikleri sistemler giderek daha yetenekli hâle geliyor.

Rekabet, uyumu çözmekten daha zor olabilir

Coxon'un istifası nihayetinde tek bir şirketin ötesine işaret ediyor.

Önde gelen laboratuvarlar yavaşlamanın bir rakibe avantaj sağlayacağını düşünürse, ciddi iç endişeler daha yavaş gelişmeye dönüşmeyebilir.

AI araştırmacısı Gary Marcus, Techmeme'in aktardığı yorumlarda Coxon'un argümanının her kısmına katılmadığını ancak bunu “içerden etkileyici ve bilgili” bulduğunu ve duyulmayı hak ettiğini söyledi.

Bu, yok olma olasılıkları ve süperzekâ zaman çizelgelerine ilişkin iddialar hâlâ derin belirsizlik taşıdığı için faydalı bir denge unsurudur.

Anthropic uyum araştırmalarına yatırım yapabilir, risk raporları yayımlayabilir ve koruyucu önlemler inşa edebilir; yine de OpenAI ve diğer rakiplerin yetenekleri ilerletmeye devam ettiği bir pazarda faaliyet göstermeye devam edebilir.

Coxon'un ayrılığı, bu laboratuvarlardaki araştırmacıların zararın maddi olduğunu düşündüklerinde, kontrolün çözülmediğini itiraf ettiklerinde ve buna rağmen yarışa devam etmeye yönelik teşviklerle karşılaştıklarında ne olacağını sorguluyor.