Cloudflare menutup pintu pada perangkak AI, meletakkan penerbit dalam kawalan

Cloudflare telah melancarkan kemas kini menyeluruh pada platformnya yang akan menyekat perangkak kecerdasan buatan secara lalai daripada mengakses kandungan merentas tapak web menggunakan rangkaiannya.

Keputusan itu, yang diumumkan pada hari Selasa, datang di tengah-tengah kebimbangan yang semakin meningkat di kalangan penerbit bahawa model AI sedang dilatih pada kandungan mereka tanpa kebenaran atau pampasan.

Dengan kira-kira 16 peratus daripada trafik internet dunia melalui Cloudflare, perubahan itu boleh mengurangkan saluran paip data yang memberi makan kepada model bahasa besar (LLM) dengan ketara.

Kemas kini ini bermakna setiap tapak web baharu yang mendaftar dengan Cloudflare kini akan digesa untuk ikut serta atau keluar daripada akses perangkak AI.

Melainkan pemilik tapak web memberikan kebenaran secara eksplisit, akses akan ditolak secara lalai.

Langkah itu dibina berdasarkan alat yang diperkenalkan oleh Cloudflare pada September 2023, yang membolehkan pelanggan menyekat perangkak AI dengan satu klik.

Kini, syarikat itu meningkatkan keupayaan itu menjadi lalai seluruh sistem.

Paywall dan kebenaran untuk bot AI

Tawaran terbaharu Cloudflare juga memperkenalkan model pengewangan baharu yang membolehkan penerbit web mengenakan bayaran kepada pembangun AI untuk akses data.

Ciri "bayar setiap rangkak" ini bertujuan untuk mewujudkan rangka kerja kewangan untuk penggunaan kandungan, sama seperti cara perkhidmatan penstriman membayar royalti untuk pelesenan muzik dan filem.

Walaupun perangkak AI secara historis telah mengikis kandungan web secara beramai-ramai untuk menggerakkan model daripada syarikat seperti OpenAI dan Google, amalan ini sering memintas tapak web yang mengehoskan bahan asal.

Dengan memberi kawalan kepada pemilik tapak web sama ada dan bagaimana kandungan mereka dikikis—dan memperkenalkan aliran hasil yang berpotensi—langkah itu boleh membantu mengimbangi semula pertukaran nilai antara penerbit dan firma AI.

Perubahan itu terpakai kepada semua domain baharu dan akan diperluaskan secara beransur-ansur kepada pelanggan sedia ada, menurut Cloudflare.

Penerbit akan mempunyai keupayaan untuk mengurus akses perangkak AI daripada panel kawalan mereka, menetapkan parameter atau keperluan pembayaran mengikut keperluan.

Ketegangan yang semakin meningkat antara pembangun AI dan infrastruktur web

OpenAI telah menyuarakan kebimbangan tentang pendekatan Cloudflare.

Menurut makmal yang disokong Microsoft, sistem baharu itu memperkenalkan Cloudflare dengan berkesan sebagai "orang tengah", mengganggu rundingan langsung antara pembekal kandungan dan pengguna data.

OpenAI juga mengulangi bahawa perangkaknya menghormati fail robots.txt—standard internet yang membolehkan tapak web menarik diri daripada mengikis data.

Walau bagaimanapun, pakar industri telah menegaskan bahawa perangkak AI sering dilihat sebagai lebih invasif daripada bot tradisional.

Mereka bukan sahaja selektif tetapi juga mampu membebankan pelayan web, kadangkala membawa kepada prestasi atau isu akses yang merosot untuk pengguna manusia.

Sesetengah model telah dilatih pada berbilion dokumen, menimbulkan persoalan tentang persetujuan, penggunaan saksama dan penumpuan kuasa AI di tangan beberapa firma besar.

Matthew Holman, rakan kongsi undang-undang di Cripps di UK, memberitahu CNBC bahawa langkah Cloudflare boleh "menghalang keupayaan chatbots AI untuk menuai data," terutamanya untuk carian dan latihan model.

Walaupun kesan serta-merta mungkin terhad kepada tapak web di bawah bidang kuasa Cloudflare, kesan jangka panjang boleh menjadi kelembapan dalam kemajuan model atau peningkatan kos untuk melatih sistem berprestasi tinggi.