Penyelidik Anthropic berhenti kerana AI 'pertaruhkan nyawa'; risiko kepupusan >10%

Penyelidik Anthropic, Jacob Coxon, telah meletak jawatan dari Anthropic dengan satu amaran tegas: makmal AI peringkat hadapan sedang berlumba menuju sistem yang akhirnya mungkin tidak dapat mereka kawal.

Coxon, yang menghabiskan tiga tahun menjalankan penyelidikan pra-latihan di OpenAI dan Anthropic, berkata kedua-dua syarikat itu sedang mengejar kecerdasan super yang memperbaiki dirinya sendiri sambil mengambil risiko yang beliau tidak lagi mahu membantu percepatkan.

Kepergiannya mendapat perhatian selepas Evan Hubinger, Ketua Sains Penyelarasan Anthropic, berkata beliau secara peribadi melihat kemungkinan lebih daripada 10% bahawa AI boleh membunuh semua manusia dalam dekad akan datang.

Angka itu adalah anggaran peribadi Hubinger, bukan ramalan Anthropic, dan beliau menekankan bahawa model masa kini menimbulkan risiko yang agak rendah.

Coxon berkata perlumbaan itu sendiri adalah masalahnya

Coxon tidak sekadar berhujah bahawa Anthropic mengabaikan keselamatan.

Dalam mengumumkan peletakan jawatannya, beliau berkata orang di Anthropic faham pertaruhan yang berpotensi tetapi kekal terperangkap dalam persaingan yang memberi ganjaran kepada pergerakan lebih pantas kerana makmal lain mungkin terlebih dahulu mencapai kecerdasan super.

“Mereka sedang berlumba terus ke arah kecerdasan super yang memperbaiki diri sendiri dan mempertaruhkan nyawa kita,” tulis Coxon.

Penyelidik itu telah memutuskan untuk meninggalkan industri AI kerana beliau tidak lagi mahu terlibat dalam membina sistem yang boleh menjadi di luar kawalan.

Beliau memberitahu Wall Street Journal bahawa di bawah senario agresif, keadaan boleh menjadi "di luar kawalan" menjelang akhir tahun depan.

Garis masa itu kekal sebagai penilaian Coxon. Tetapi hujahnya menimbulkan persoalan tadbir urus yang lebih sukar: sebuah syarikat boleh mengambil serius keselamatan dan masih menyumbang kepada perlumbaan berbahaya jika tekanan persaingan menjadikan perlahan terasa mustahil.

Itu mencabar idea bahawa budaya keselamatan yang lebih baik di dalam setiap syarikat sudah memadai.

Baca juga- Pertembungan Anthropic-Pentagon membangkitkan soalan utama: siapa yang harus dipersalahkan jika AI membunuh?

Anggaran 10% Hubinger mendedahkan percanggahan itu

Respons Hubinger mengubah peletakan jawatan itu menjadi debat lebih luas mengenai AI peringkat hadapan.

Ketua Sains Penyelarasan Anthropic berkata penyelidik dalam AI peringkat hadapan benar-benar percaya AI maju boleh membunuh manusia. Anggarannya sendiri meletakkan risiko itu melebihi 10% dalam dekad akan datang.

Beliau juga berkata Anthropic sedang "melakukan yang terbaik", sambil mengakui bahawa syarikat itu belum mempunyai rancangan untuk menyelesaikan penyelarasan bagi kecerdasan super dan tidak jelas sedang berada di landasan untuk melakukannya.

Hubinger kemudian menjelaskan bahawa beliau menganggap risiko daripada model sekarang rendah. Kebimbangannya tertumpu pada kecerdasan super masa depan yang muncul melalui peningkatan kendiri berulang, di mana sistem AI semakin membantu mereka bentuk dan memperbaiki pengganti mereka.

Anthropic telah menyatakan secara terbuka bahawa peningkatan kendiri berulang tidak pasti akan berlaku, tetapi boleh tiba lebih awal daripada persediaan institusi dan berpotensi meningkatkan risiko manusia kehilangan kawalan.

Percanggahan itu sukar diabaikan: penyelidik cuba menyelesaikan penyelarasan sementara sistem yang mereka kaji terus menjadi lebih berkeupayaan.

Persaingan mungkin lebih sukar diselesaikan daripada penyelarasan

Peletakan jawatan Coxon akhirnya menunjukkan isu yang melangkaui satu syarikat.

Jika makmal terkemuka percaya melambatkan pembangunan boleh memberikan kelebihan kepada pesaing, kebimbangan dalaman yang serius mungkin tidak diterjemahkan kepada pembangunan yang lebih perlahan.

Penyelidik AI Gary Marcus berkata, dalam komen yang dilaporkan oleh Techmeme, bahawa beliau tidak bersetuju dengan setiap bahagian hujah Coxon tetapi mendapati ia "menarik dan berpengetahuan dari dalam" dan berkata ia wajar didengar.

Itu menjadi penimbang tara berguna kerana tuntutan mengenai kebarangkalian kepupusan dan garis masa kecerdasan super kekal sangat tidak pasti.

Anthropic boleh melabur dalam penyelidikan penyelarasan, menerbitkan laporan risiko dan membina langkah-langkah keselamatan, sambil terus beroperasi dalam pasaran di mana OpenAI dan pesaing lain sedang mendorong had kemampuan.

Peletakan jawatan Coxon menyoal apa yang terjadi apabila penyelidik dalam makmal-makmal itu menganggap keburukan adalah ketara, mengakui kawalan belum diselesaikan, dan masih menghadapi insentif untuk terus berlumba.