Yinelemeli kendini geliştirme: Anthropic neden yapay zeka gelişimini yavaşlatmak istiyor

Giderek daha güçlü yapay zeka sistemleri geliştirme yarışı hızlanırken, sektördeki önde gelen oyunculardan biri, yakın zamana kadar büyük ölçüde bilimkurguya ait olan bir olasılığı dünyaya düşünmeyi öneriyor: makinelerin insan müdahalesi olmadan kendilerini geliştirmesi.

Claude'un arkasındaki yapay zeka şirketi Anthropic, Perşembe günü yaptığı açıklamada, öncü AI gelişiminin yavaşlatılabilme yeteneğinin, teknoloji toplumu kökten yeniden şekillendirebilecek yeteneklere yaklaştıkça değerli olabileceğini belirtti.

Uyarı, Anthropic'in iç araştırma enstitüsünün başkanı Marina Favaro ile şirketin kurucularından Jack Clark tarafından yazılan bir blog gönderisinde yer aldı.

Yazı, firmanın en gelişmiş modellerinin hızla ilerlediğini ve nihayetinde araştırmacıların "yinelemeli kendini geliştirme" dediği bir yöne doğru ilerleyebileceklerini gösteren dahili araştırmaları açıkladı — yapay zeka sistemlerinin kendi yeteneklerini artırabilme senaryosu.

Şirket, böyle bir eşik henüz aşılmadığını ve belki de hiç gerçekleşmeyebileceğini vurguladı.

Ancak olasılığın, hazırlık gerektirecek kadar ciddileştiğini savundu.

"Kendi kendini inşa edebilen bir yapay zeka, teknoloji tarihinin önemli bir gelişmesi olur—bilimde, sağlık hizmetinde ve ötesinde dünyaya muazzam faydalar götürebilir," yazıda yer aldı.

Ancak tam yinelemeli kendini geliştirmenin, insanların yapay zeka sistemleri üzerindeki kontrolünü kaybetme riskini de artırabileceği konusunda uyarıda bulundu.

"Eğer sistemler kendi haleflerini tamamen inşa edebilecek kapasiteye erişirse, onları güvence altına alma, izleme ve davranışlarını şekillendirme yollarımız çok daha önemli hale gelir," yazıda belirtildi.

"Dünyanın, teknolojinin ilerlemesiyle toplumsal yapıların ve hizalama araştırmasının yetişebilmesini sağlamak için öncü yapay zeka gelişimini yavaşlatma veya geçici olarak durdurma seçeneğine sahip olmasının iyi olacağına inanıyoruz," diye eklediler.

Yinelemeli kendini geliştirme ne anlama geliyor

Yinelemeli kendini geliştirme, genellikle RSI olarak kısaltılan, bir yapay zeka sisteminin mevcut yeteneklerini kullanarak kendisini daha iyi hale getirme sürecine atıfta bulunur.

İnsan programcıların kodu değiştirmesiyle ancak değişen geleneksel yazılımdan farklı olarak, gelişmiş yapay zeka sistemleri zaten yazılım yazabiliyor, sonuçları analiz edebiliyor, hipotezleri test edebiliyor ve karmaşık sorunlara çözümler üretebiliyor.

Araştırmacılar, bir sorunu tanımlayabilen, bunu ele almak için kod yazabilen, sonucu değerlendiren, sonuçlardan öğrenen ve sonra insan denetimi çok az veya hiç olmadan bu süreci sürekli tekrarlayan bir gelecek sistemi öngörüyorlar.

Her bir iyileştirme, bir sonraki iyileştirmeyi potansiyel olarak kolaylaştırabilir ve ilerlemeyi hızlandıran bir geri besleme döngüsü yaratabilir.

Uzmanlar, bu tür yeteneklerin ne kadar olası veya ne kadar yakın olduğu konusunda hemfikir olmasa da, kavram gelişmiş yapay zeka güvenliği tartışmalarında merkezî bir konu haline geldi.

Anthropic, yinelemeli kendini geliştirmenin "çoğu kurumun hazır olmadığından daha erken gelebileceği" konusunda uyardı.

Araştırmacıların risk gördüğü noktalar

Kendini geliştirebilen sistemlerin olasılığı, yeni güvenlik ve yönetişim zorlukları getirdiği için bazı akademisyenler ve politika yapıcılar arasında endişelere yol açtı.

Asia e University'den Azizi Othman'a göre, kendi kodunu değiştirebilen sistemler kötü niyetli aktörler için cazip hedefler haline gelebilir.

"Kendi kodunu değiştiren bir sistem, dikkatlice planlanmış saldırı dizileriyle arka kapılar veya gizli talimatlar kabul edecek şekilde manipüle edilebilir," dedi Othman.

Böyle sistemlerin ayrıca diğer yazılımları veya altyapıyı düşmanca değiştirmeye de girişebileceği uyarısında bulunarak, mevcut yapay zeka güvenliği araştırmalarının tam olarak ele alamadığı güvenlik riskleri yaratabileceğini belirtti.

"Bu hususlar RSI güvenliğini ikincil bir endişe değil, merkezî bir araştırma önceliği olarak ele almayı gerektiriyor," dedi.

Araştırmacılar, kendi kendini değiştirme kapasitesine sahip sistemleri güvence altına almaya ilişkin mevcut literatürün sınırlı olduğunu söylüyor.

OpenAI benzer endişeleri yineliyor

Yinelemeli kendini geliştirmeyi potansiyel bir zorluk olarak vurgulayan Anthropic yalnız değil.

Anthropic'in başlıca rakibi OpenAI da bu hafta bunu kamusal politika gündeminin bir parçası olarak gündeme taşıdı.

ChatGPT üreticisi, gelişmiş yapay zeka sistemlerinin denetimini güçlendirecek federal bir çerçeve çağrısında bulunarak yinelemeli kendini geliştirmeye doğru ilerlemenin izlenmesini destekledi.

"Ayrıca Kongre eylemini, kapsamlı bir federal çerçeve tesis etmek için destekliyoruz," diyen OpenAI, ABD hükümetinin en yetenekli öncü modeller için değerlendirme çabalarını genişletmesi ve güvenlik risklerini değerlendirecek bağımsız bir ekosistem geliştirmesi gerektiğini savundu.

"Bu çerçeve, CAISI'nin en yetenekli öncü modellerin değerlendirmelerini yapmasını, CAISI'yi bağımsız bir değerlendirme ekosistemi kurmaya yönlendirmesini ve yinelemeli kendini geliştirmeye (RSI) yönelik ilerlemenin izlenmesini önceliklendirmesini gerektirmelidir," dedi.

Dünyanın en etkili iki yapay zeka şirketinin artık yinelemeli kendini geliştirmeyi kamuoyunda tartışıyor olması, konunun teorik bir tartışmadan ana akım politika müzakerelerine doğru ilerlediğine işaret ediyor.

Patlayan bir yapay zeka işinin ortasındaki bir uyarı

Anthropic'in temkin çağrısı, şirketin kendisinin yapay zeka patlamasından büyük fayda sağladığı bir dönemde geliyor.

Şirket yakın zamanda neredeyse $1 trillion değerlemeye ulaştıran bir yatırım turunu tamamladı ve gizli bir şekilde halka arz için evrak sundu.

Gelir büyümesi de aynı derecede dramatik oldu.

Anthropic'in yıllıklandırılmış gelir koşu oranının bu ay sonuna kadar yaklaşık $50 billion'a ulaşması, 2025 sonunda $9 billion'dan yükselmesi bekleniyor.

Bu hızlı büyüme, şirketi yapay zeka üstünlüğü mücadelesinde OpenAI'ye karşı önde gelen meydan okuyuculardan biri olarak konumlandırmaya yardımcı oldu.

Bu en son güvenlik hamlesinin zamanlaması, bazı gözlemcilerin daha sıkı denetim çağrılarının rekabet engelleri yaratarak yerleşik yapay zeka liderlerine fayda sağlayabileceği yönündeki eleştirilerini yeniden alevlendirdi.

Eleştiriler Anthropic'in motivasyonlarını sorguluyor

Anthropic uzun süredir güvenlik savunuculuğunun ticari çıkarlarla örtüşebileceği suçlamalarıyla karşı karşıya.

Eleştirmenleri arasında, Başkan Donald Trump'a gayriresmî danışmanlık yapan girişim sermayedarı David Sacks da var; Sacks, şirketi "düzenleyici yakalama gündemi" peşinde olmakla suçladı.

Sacks bir podcast'te, Washington'ın "düzenleyici yakalama gündemi"nin açık kaynaklı yapay zeka modellerine yasak getirilmesine yol açabileceği uyarısında bulundu—bu modeller kuruluşlara yapay zekayı dahili olarak daha ucuz bir şekilde inşa edip kullanma imkânı sunuyor.

Diğerleri, güçlü yapay zeka sistemleri hakkındaki kamu uyarılarının Anthropic'in teknolojisinin sofistikeliğini vurgulayarak bir tür pazarlama işlevi görebileceğini öne sürdü.

Şirketin siber güvenliğe odaklı Mythos modelini sınırlı şekilde yayınlaması, güvenlik mesajlarının aynı zamanda ürün yeteneklerini de sergileyebileceğine inanan şüpheciler tarafından sıkça örnek gösterildi.

Anthropic bu eleştirileri reddediyor ve güvenliğe odaklanmasının mevcut yapay zeka patlamasından önce başladığını belirtiyor.

Sektör yapay zekanın geleceği konusunda bölünmüş

Tartışma, mevcut sistemlerin insan düzeyinde zeka veya kendini geliştirme yeteneklerine ulaşmasına ne kadar yakın olduğu konusunda yapay zeka endüstrisi genelinde daha geniş bir bölünmeyi yansıtıyor.

AI öncülerinden ve eski Meta baş AI bilim insanlarından Yann LeCun da dahil bazı araştırmacılar, bugünün büyük dil modellerinin temelde sınırlı olduğunu ve insan benzeri zekaya ulaşmalarının muhtemel olmadığını savundu.

LeCun, AI etrafındaki varoluşsal korkuları defalarca reddetti ve mevcut sistemleri insan yerine bir kedinin zekâ seviyesine benzetti.

Diğerleri, Anthropic CEO'su Dario Amodei de dahil olmak üzere, çok daha temkinli bir görüş benimsedi.

Amodei, gelişmiş yapay zekanın eşitsizliği önemli ölçüde artırabileceği, çok sayıda giriş düzeyi beyaz yakalı işi ortadan kaldırabileceği ve potansiyel olarak tahmin edilemez biçimlerde zararlı davranışlar geliştirebileceği konusunda uyardı.

Jack Clark da yinelemeli kendini geliştirmenin onlarca yıl yerine yıllar içinde gelebileceğini savundu.

"O sınıftaki bir teknoloji daha önce hiç var olmadı, ve yine de bunun önümüzdeki iki yıl içinde, hatta daha erken olabileceğine inanıyorum," Clark geçen ay Londra'da verdiği bir derste söyledi.

Yapay zekayı yavaşlatmanın zorluğu

Anthropic, yapay zeka gelişimini durdurma veya yavaşlatma girişiminin ancak büyük oyuncular katılırsa işe yarayacağını kabul ediyor.

Bu nedenle şirket, uyumu sağlamak için uluslararası anlaşmalar ve doğrulama mekanizmalarını araştırmayı önerdi.

Ancak AI gelişimini izlemenin geleneksel silah kontrol anlaşmalarını uygulamaktan önemli ölçüde daha zor olabileceğini de itiraf etti.

"Eğitim çalışmaları, füze siloarından gizlemesi çok daha kolay," blog gönderisinde belirtildi.

Şirket, rakipler dururken herhangi bir aktörün geliştirmeye devam etmesinin önemli bir avantaj sağlayabileceği konusunda uyararak koordinasyonu aşırı derecede zorlaştırdığını söyledi.

Şimdilik Anthropic, politikacılar, araştırmacılar ve sektör liderleriyle tartışmalar düzenleyerek yinelemeli kendini geliştirmenin nasıl incelenmesi gerektiğini ve koordineli yavaşlatma mekanizmalarının pratik olup olmayacağını değerlendirmeyi planlıyor.