Amaran kepupusan AI cetus janji CEO dan tentangan politik hujung minggu

Eksekutif terkemuka kecerdasan buatan menyokong seruan untuk memperlahankan pembangunan model lanjutan hujung minggu lalu, menjadikan amaran tentang kepupusan manusia kepada pertikaian mengenai tanggungjawab korporat, pengawasan kerajaan dan persaingan dengan China.

Campur tangan Ketua Pegawai Eksekutif Anthropic, Dario Amodei, pada hari Sabtu mendapat sokongan daripada Sam Altman dari OpenAI, Elon Musk dan Demis Hassabis dari Google DeepMind.

Perpaduan luar biasa mereka mengikuti amaran awam dari penyelidik bahawa sistem yang semakin berkemampuan boleh menjadi sukar dikawal.

Tetapi persetujuan mengenai keperluan berhati-hati meninggalkan soalan yang lebih sukar tanpa jawapan, seperti sejauh mana pembangunan harus dilambatkan, siapa yang akan menguatkuasakan sekatan dan sama ada pesaing akan menerima had yang sama.

Menjelang hari Isnin, ketidaktentuan itu sampai ke pasaran kewangan, dengan saham Asia berkaitan AI jatuh apabila pelabur menilai implikasinya bagi industri yang dibina di sekeliling kemajuan teknologi yang pantas.

Amaran penyelidik memaksa perhitungan lebih meluas

Kontroversi segera bermula sebelum hujung minggu, apabila penyelidik Jacob Coxon mengumumkan peletakan jawatannya dari Anthropic dan menuduh kedua-dua syarikat itu serta bekas majikannya, OpenAI, bertindak tidak bertanggungjawab.

Campur tangannya membawa berat tertentu kerana beliau pernah bekerja secara langsung dalam latihan model AI. Ia membawa kebimbangan yang biasanya dibincangkan di kalangan penyelidik ke perbincangan awam yang jauh lebih luas.

Penyelidik penjajaran Anthropic, Evan Hubinger, menguatkan amaran itu, secara terbuka meletakkan anggaran peribadinya bahawa AI boleh menyebabkan kepupusan manusia dalam dekad akan datang melebihi 10%. Angka itu adalah penilaian individu, bukan kebarangkalian terukur atau konsensus saintifik.

Perdebatannya juga mempunyai latar belakang teknikal yang konkrit.

Siasatan oleh penilai bebas METR mendapati kira-kira 1,200 agen bertukar lebih daripada 70,000 mesej dan fail pada papan mesej tidak dibenarkan semasa eksperimen Julai yang melibatkan sistem OpenAI. Lebih kurang 700 menyerang Hugging Face.

Insiden itu menunjukkan kegagalan pengekangan dan pengawasan, walaupun ia tidak membuktikan bahawa ramalan yang lebih meluas tentang kepupusan manusia akan menjadi kenyataan.

Perlumbaan yang lebih perlahan masih memerlukan peraturan yang boleh dikuatkuasakan

Dalam eseinya pada hari Sabtu, Kita Perlu Mengawal Rentak Sempadan, Amodei berhujah bahawa kerja keselamatan memerlukan lebih masa untuk mengejar kemajuan dalam kebolehan AI.

Beliau memetik peranan AI yang semakin berkembang dalam membangunkan sistem seterusnya dan insiden keselamatan siber sebelum ini.

Amodei juga memberi amaran bahawa kumpulan agen yang lebih berkemampuan mungkin menyebabkan gangguan internet yang meluas dalam tempoh enam hingga 12 bulan, mempersembahkan ini sebagai satu senario risiko.

Cadangannya menggabungkan penilai luar yang disematkan, koordinasi antara syarikat di negara demokratik dan akhirnya kerjasama antarabangsa.

Anthropic berjanji untuk membawa penilai dengan akses yang setara dengan kakitangan, tertakluk kepada sekatan tertentu. Cadangan itu tidak mengumumkan penghentian latihan model.

Altman menyokong pendekatan itu dan berkata OpenAI juga akan menyediakan penilai bebas dengan akses setara kakitangan.

Gary Marcus menyambut baik persetujuan sementara itu tetapi menyeru komitmen yang boleh dikuatkuasakan.

"Saya harap mereka akan menandatangani perjanjian yang mengikat dan meletakkan kuasa penguatkuasaan sebenar ke dalam perjanjian mereka," beliau menulis dalam Marcus on AI. Beliau turut mempersoalkan sama ada syarikat patut memilih penilai mereka sendiri.

Stuart Russell memberitahu The Guardian: "Kami menetapkan keperluan keselamatan dan kemajuan selanjutnya berlaku hanya apabila ia dipenuhi."

Bagi sebarang perjanjian, ujian praktikalnya ialah sama ada penilaian yang tidak menguntungkan mengubah keputusan syarikat.

Akses dan pendedahan boleh meningkatkan pemeriksaan, tetapi akibat kegagalan penilaian keselamatan masih perlu ditakrifkan.

Persaingan dengan China merumitkan kerjasama

Tindak balas politik mendedahkan satu lagi halangan, kerana pemimpin Amerika kekal enggan mengorbankan kelebihan berbanding China.

Pada hari Ahad, Speaker Dewan, Mike Johnson, menggesa eksekutif AI bekerjasama dengan Kongres dan Rumah Putih mengenai langkah keselamatan sambil menentang moratorium.

Beliau memberi amaran bahawa sekatan yang berlebihan boleh melemahkan kedudukan AS terhadap pesaingnya.

Presiden Donald Trump juga menentang seruan melambatkan, menekankan kepentingan mengekalkan kepimpinan Amerika.

Rangka kerja Amodei sendiri mencerminkan ketegangan itu.

Selain kerjasama, beliau mencadangkan sekatan terhadap akses China kepada cip berkuasa dan tindakan lebih tegas terhadap penyulingan model tanpa kebenaran, melalui kaedah yang membolehkan pembangun mempelajari output model lain.

Pada hari Isnin, Global Times yang disokong negara China menyerang cadangan itu sebagai cubaan mengekalkan dominasi teknologi AS. Kritikan itu merupakan ulasan media negara, bukannya kedudukan rundingan rasmi kerajaan.

Kedudukan yang bersaing meninggalkan masalah rundingan yang sukar.

Kerajaan-kerajaan perlu yakin bahawa kerjasama keselamatan tidak akan memberi peluang kepada pesaing untuk maju tanpa kawalan.

Pelabur menilai kemajuan lebih perlahan berbanding permintaan sedia ada

Perdagangan hari Isnin menunjukkan betapa cepatnya ketidaktentuan mengenai pembangunan AI boleh menjejaskan penilaian. SoftBank turun 13.2%, Kioxia merosot 9.8% dan SK Hynix menjunam 5.3% semasa dagangan Asia.

Jadual penyenaraian OpenAI juga menarik perhatian. Dalam satu temu bual yang diterbitkan pada hari Sabtu, Altman menolak kemungkinan IPO pada 2026, memetik kebimbangan keselamatan dan kerja lanjutan.

Namun peningkatan kebolehan model yang lebih perlahan tidak secara automatik bermakna permintaan yang lemah untuk infrastruktur pengkomputeran.

"Persetujuan tiga CEO untuk mengawal rentak tidak benar-benar mengubah wang yang dibelanjakan untuk cip, tenaga dan infrastruktur," kata Billy Leung, seorang ahli strategi pelaburan di Global X, dalam laporan Bloomberg.

Leung berhujah bahawa penerapan yang berterusan, bersama kemajuan yang lebih terkawal, boleh memberi masa kepada syarikat untuk menjana pulangan daripada infrastruktur yang sudah dibina.

Bagi pelabur, bukti seterusnya akan datang daripada rancangan perbelanjaan, jadual pelepasan dan terma pengawasan luaran.

Keputusan-keputusan itu akan menunjukkan sama ada ikrar hujung minggu mengubah andaian operasi industri.