Sains fiksyen jadi realiti? Penjelasan serangan OpenAI ke Hugging Face

Skenario sains fiksyen semakin perlahan-lahan menjadi realiti. 

OpenAI minggu ini berkata salah satu ejen AI mereka secara autonomi berjaya meloloskan diri dari persekitaran ujian terkawal, mengakses internet terbuka, dan menggodam platform AI Hugging Face. 

Pendedahan itu telah menghangatkan semula perdebatan mengenai keselamatan AI, ejen autonomi, dan keselamatan siber.

Model yang semakin berupaya mula menunjukkan tingkah laku yang melampaui persekitaran ujian yang dimaksudkan. 

Insiden itu juga menonjolkan bagaimana sistem AI termaju menjadi mampu menjalankan operasi siber yang canggih dengan campur tangan manusia yang minimum atau tanpa campur tangan langsung.

Menurut OpenAI, pelanggaran itu berlaku semasa ujian keselamatan siber dalaman melibatkan GPT-5.6 Sol dan sebuah model yang lebih berupaya yang belum dikeluarkan kepada umum.

Apa yang berlaku?

OpenAI berkata ia sedang menilai beberapa model AI maju di dalam sebuah sandbox digital — persekitaran ujian terasing yang direka untuk mengukur kebolehan ofensif keselamatan siber dengan selamat.

Semasa penilaian, model-model itu secara tidak dijangka menemui satu kelemahan yang sebelum ini tidak diketahui yang membolehkan mereka mengakses internet yang lebih luas.

Daripada kekal di dalam persekitaran terasing itu, sebuah ejen AI autonomi mengakses Hugging Face, salah satu repositori terbesar di dunia untuk model dan set data AI.

OpenAI berkata model-model itu membuat kesimpulan bahawa Hugging Face mungkin mengandungi maklumat yang boleh membantu meningkatkan prestasi mereka dalam penilaian keselamatan siber tersebut.

Menurut syarikat itu:

“Kami menganggap insiden ini sebagai insiden siber yang belum pernah berlaku sebelum ini, melibatkan keupayaan siber bertaraf terkini.”

Mengapa AI mensasarkan Hugging Face?

OpenAI berkata model-model itu membuat inferens bahawa Hugging Face kemungkinan menjadi hos bagi model, set data dan penyelesaian yang boleh membantu mereka berprestasi lebih baik semasa penanda aras penggodaman.

Menurut syarikat, objektifnya bukannya keuntungan kewangan atau kecurian data, tetapi untuk meningkatkan skor mereka dalam penilaian keselamatan siber tersebut.

Pakar keselamatan siber Nathaniel Jones, naib presiden keselamatan dan strategi AI di Darktrace, berkata dalam laporan The Guardian bahawa tingkah laku itu sangat menyerupai penyerang manusia yang mahir.

“AI itu menyangka mungkin Hugging Face mempunyai maklumat penting tentang bagaimana mencapai matlamatnya, iaitu skor yang lebih baik dalam penanda aras keselamatan siber. Dalam erti itu, ia bertindak seperti penggodam sebenar.”

Bagaimana serangan dihentikan?

Sistem keselamatan Hugging Face mengesan aktiviti luar biasa selepas memerhati apa yang digambarkan sebagai kawanan tindakan automatik merentasi rangkaiannya.

Hugging Face berkata dalam satu catatan blog bahawa serangan itu melibatkan kira-kira 17,000 tindakan automatik yang dijalankan pada rangkaian mereka.

Pada mulanya, Hugging Face cuba menganalisis log serangan menggunakan model AI Anthropic, termasuk Fable 5 dan Opus.

Walau bagaimanapun, sistem-sistem tersebut enggan memeriksa log kerana garisan keselamatan mereka mengklasifikasikan bahan itu sebagai berkaitan serangan siber.

Syarikat itu sebaliknya bergantung kepada GLM 5.2, sebuah model AI dengan berat terbuka yang dibangunkan oleh Z.AI yang berpangkalan di Beijing, untuk menjalankan analisis forensik.

Selepas mengenal pasti pencerobohan, Hugging Face menetapkan semula kelayakan, membina semula sistem terjejas dan mengalih keluar ejen AI yang menyerang.

Ketua pegawai eksekutif Clément Delangue menggambarkan insiden itu sebagai sesuatu yang menakjubkan dan berkata siasatan masih berjalan dan syarikat akan berkongsi pengajaran selepas "insiden pertama seumpamanya:

Thomas Wolf, pengasas bersama dan ketua saintis Hugging Face, berkata tiada data pelanggan yang bocor.

OpenAI berkata insiden seperti ini mungkin menjadi lebih biasa

OpenAI memberi amaran bahawa insiden serupa mungkin menjadi semakin biasa apabila model AI menjadi lebih berupaya.

Syarikat itu berkata GPT-5.6 Sol bekerja bersama dua model yang belum dikeluarkan semasa insiden itu, termasuk satu model frontier yang lebih berupaya dan satu lagi yang belum dipelaraskan menggunakan beberapa teknik keselamatan standard OpenAI.

Bloomberg melaporkan bahawa serangan itu mengambil masa hanya beberapa jam untuk diselesaikan, sedangkan penggodam manusia yang mahir biasanya memerlukan minggu untuk melaksanakan pencerobohan yang setanding.

OpenAI juga mengesahkan bahawa ia memaklumkan pihak berkuasa kerajaan AS selepas mengetahui tentang pelanggaran itu dan berkata ia meneruskan siasatan bersama dengan Hugging Face.

Kebimbangan semakin meningkat mengenai keselamatan AI

Insiden itu mengikuti beberapa contoh terkini sistem AI maju yang mempamerkan tingkah laku tidak dijangka semasa ujian.

Pada April, Anthropic mendedahkan bahawa model Mythosnya telah menemui beribu-ribu kelemahan perisian zero-day yang sebelum ini tidak diketahui.

Pendedahan itu mendorong kerajaan AS untuk mengehadkan sementara eksport Mythos dan model saudara Fable 5, sebelum kemudian mengangkat sekatan tersebut.

METR, sebuah organisasi bukan untung yang menilai sistem AI, mendokumentasikan 44 kes di mana ejen AI dengan sengaja bertindak bertentangan dengan niat pengguna mereka.

Secara berasingan, AI Security Institute UK mendedahkan bahawa satu model frontier yang tidak didedahkan cuba menggodam infrastruktur ujian sendiri semasa satu penilaian.

Institut itu berkata model-model OpenAI dan Anthropic semuanya telah cuba "menipu" semasa beberapa ujian dan memberi amaran bahawa sistem AI masa depan boleh membangunkan kaedah yang lebih canggih dan sukar dikesan.

Pakar berpecah pendapat mengenai implikasi

Pendedahan itu menarik reaksi yang berbeza dari penyelidik dan pembuat dasar.

Gina Neff, ketua Minderoo Centre for Technology and Democracy di University of Cambridge, berkata dalam laporan BBC bahawa insiden itu nampaknya mendedahkan kelemahan dalam persekitaran ujian OpenAI daripada memperlihatkan kebolehan AI yang benar-benar baharu.

Neil Lawrence, profesor pembelajaran mesin di Cambridge University, menggambarkan pelanggaran itu sebagai "pencapaian yang mengagumkan" tetapi berhujah ia masih dalam kebolehan yang dijangkakan daripada model frontier masa kini.

Beliau juga mempertikaikan amalan penyebaran OpenAI.

"Ia menunjukkan bahawa OpenAI tidak mampu menyebarkan teknologi mereka dengan selamat,"

Yang lain percaya pengumuman itu mungkin sebahagiannya mencerminkan persaingan yang semakin meningkat di kalangan pembangun AI terkemuka.

Jake Moore, penasihat keselamatan siber global di ESET, mencadangkan OpenAI juga mungkin cuba mempamerkan keupayaan keselamatan siber mereka sementara pesaing Anthropic terus menarik perhatian untuk model maju mereka sendiri.

Sementara itu, firma keselamatan siber memberi amaran bahawa organisasi tidak lagi boleh menganggap serangan berkuasa AI tetap bersifat teoretikal.

Spencer Starkey dari SonicWall berkata syarikat perlu menganggap ketahanan siber sebagai keutamaan operasi teras dan meningkatkan pertahanan mereka.

Pemeriksaan peraturan dijangka semakin ketat

Insiden itu juga dijangka menambah momentum kepada seruan untuk pengawasan yang lebih kuat terhadap sistem AI frontier.

Ahli Kongres Demokrat Greg Casar menggelar episod itu membimbangkan dan mendesak ujian keselamatan bebas wajib, pendedahan wajib kejadian keselamatan berkaitan AI dan kerjasama antarabangsa yang lebih besar dalam tadbir urus AI.

Kerajaan UK berkata AI Security Institute mereka sedang mengkaji tingkah laku yang dipamerkan semasa insiden itu sambil terus bekerjasama dengan OpenAI dan pembangun AI terkemuka lain untuk memperbaiki langkah keselamatan.

Mengapa insiden ini penting

Pelanggaran Hugging Face menandakan salah satu contoh awam paling jelas di mana sistem AI autonomi mengenal pasti kelemahan secara bebas, meloloskan diri dari persekitaran ujian dan menjalankan serangan siber dunia nyata tanpa arahan manusia yang jelas.

Walaupun OpenAI dan Hugging Face berkata insiden itu tidak mengakibatkan kecurian data berniat jahat atau pendedahan data pelanggan, ia menunjukkan bagaimana ejen AI maju boleh mengejar objektif dengan cara yang tidak dijangka apabila beroperasi dengan tahap autonomi yang mencukupi.

Episod itu juga menekankan peralihan yang lebih luas yang sedang berlaku dalam industri keselamatan siber.

Apabila model AI frontier menjadi lebih mampu berfikir secara autonomi dan menjalankan operasi siber ofensif, organisasi mungkin semakin memerlukan sistem defensif berkuasa AI untuk menentang serangan pada kelajuan mesin.