تغلق Cloudflare البوابة على برامج زحف الذكاء الاصطناعي ، وتضع الناشرين في السيطرة

طرحت Cloudflare تحديثا شاملا لنظامها الأساسي الذي سيمنع برامج زحف الذكاء الاصطناعي افتراضيا من الوصول إلى المحتوى عبر مواقع الويب التي تستخدم شبكتها.

يأتي القرار ، الذي تم الإعلان عنه يوم الثلاثاء ، وسط قلق متزايد بين الناشرين من أن نماذج الذكاء الاصطناعي يتم تدريبها على محتواها دون إذن أو تعويض.

مع مرور ما يقرب من 16 في المائة من حركة الإنترنت في العالم عبر Cloudflare ، يمكن أن يؤدي التغيير إلى تقليص خطوط أنابيب البيانات التي تغذي نماذج اللغات الكبيرة (LLMs) بشكل كبير.

يعني التحديث أنه سيطلب من كل موقع ويب جديد يسجل في Cloudflare الآن الاشتراك أو إلغاء الوصول إلى زاحف الذكاء الاصطناعي.

ما لم يمنح مالكو مواقع الويب الإذن صراحة ، سيتم رفض الوصول افتراضيا.

تعتمد هذه الخطوة على أداة قدمتها Cloudflare في سبتمبر 2023 ، والتي سمحت للعملاء بحظر برامج زحف الذكاء الاصطناعي بنقرة واحدة.

الآن ، تقوم الشركة بتصعيد هذه القدرة إلى افتراضي على مستوى النظام.

أنظمة حظر الاشتراك غير المدفوع والأذونات لروبوتات الذكاء الاصطناعي

يقدم أحدث عرض ل Cloudflare أيضا نموذجا جديدا لتحقيق الدخل يسمح لناشري الويب بفرض رسوم على مطوري الذكاء الاصطناعي للوصول إلى البيانات.

تهدف ميزة "الدفع لكل زحف" إلى إنشاء إطار مالي لاستخدام المحتوى ، على غرار الطريقة التي تدفع بها خدمات البث الإتاوات مقابل ترخيص الموسيقى والأفلام.

في حين أن برامج زحف الذكاء الاصطناعي قد كشطت محتوى الويب بشكل جماعي تاريخيا لتشغيل نماذج من شركات مثل OpenAI و Google ، إلا أن هذه الممارسة غالبا ما تجاوزت مواقع الويب التي تستضيف المواد الأصلية.

من خلال منح مالكي مواقع الويب التحكم في ما إذا كان يتم كشط المحتوى الخاص بهم وكيفية كشطه - وتقديم تدفقات الإيرادات المحتملة - يمكن أن تساعد هذه الخطوة في إعادة التوازن إلى تبادل القيمة بين الناشرين وشركات الذكاء الاصطناعي.

ينطبق التغيير على جميع النطاقات الجديدة وسيتم تمديده تدريجيا للعملاء الحاليين ، وفقا ل Cloudflare.

سيكون لدى الناشرين القدرة على إدارة وصول زاحف الذكاء الاصطناعي من لوحة التحكم الخاصة بهم ، وتعيين المعلمات أو متطلبات الدفع حسب الحاجة.

تصاعد التوترات بين مطوري الذكاء الاصطناعي والبنية التحتية للويب

أعربت OpenAI عن مخاوفها بشأن نهج Cloudflare.

وفقا للمختبر المدعوم من Microsoft ، يقدم النظام الجديد Cloudflare بشكل فعال على أنه "وسيط" ، مما يتعارض مع المفاوضات المباشرة بين مزودي المحتوى ومستهلكي البيانات.

أكدت OpenAI أيضا أن برامج الزحف تحترم ملفات robots.txt - وهو معيار إنترنت يسمح لمواقع الويب بإلغاء الاشتراك في تجريف البيانات.

ومع ذلك ، أشار خبراء الصناعة إلى أن برامج زحف الذكاء الاصطناعي غالبا ما ينظر إليها على أنها أكثر توغلا من الروبوتات التقليدية.

إنها ليست انتقائية فحسب ، بل إنها قادرة أيضا على إرباك خوادم الويب ، مما يؤدي أحيانا إلى تدهور الأداء أو مشكلات الوصول للمستخدمين البشريين.

تم تدريب بعض النماذج على مليارات المستندات ، مما أثار تساؤلات حول الموافقة والاستخدام العادل وتركيز قوة الذكاء الاصطناعي في أيدي عدد قليل من الشركات الكبيرة.

قال ماثيو هولمان ، الشريك القانوني في Cripps في المملكة المتحدة ، لشبكة CNBC إن خطوة Cloudflare يمكن أن "تعيق قدرة روبوتات الدردشة الذكاء الاصطناعي على جمع البيانات" ، خاصة للبحث والتدريب على النماذج.

في حين أن التأثير الفوري قد يقتصر على مواقع الويب الخاضعة لاختصاص Cloudflare ، إلا أن التأثير طويل المدى قد يكون تباطؤا في تقدم النموذج أو زيادة تكاليف تدريب الأنظمة عالية الأداء.