Cloudflare închide poarta crawlerelor AI și pune editorii în control

Cloudflare a lansat o actualizare radicală a platformei sale care va bloca în mod implicit crawlerele de inteligență artificială să acceseze conținut pe site-uri web folosind rețeaua sa.

Decizia, anunțată marți, vine pe fondul îngrijorării crescânde în rândul editorilor că modelele AI sunt antrenate pe conținutul lor fără permisiune sau compensație.

Cu aproximativ 16% din traficul de internet al lumii care trece prin Cloudflare, schimbarea ar putea reduce semnificativ conductele de date care alimentează modelele lingvistice mari (LLM-uri).

Actualizarea înseamnă că fiecare site web nou care se înregistrează la Cloudflare va fi acum solicitat să opteze sau să renunțe la accesul crawlerului AI.

Dacă proprietarii de site-uri web nu acordă în mod explicit permisiunea, accesul va fi refuzat în mod implicit.

Mișcarea se bazează pe un instrument introdus de Cloudflare în septembrie 2023, care a permis clienților să blocheze crawlerele AI cu un singur clic.

Acum, compania escaladează această capacitate într-o incapacitate implicită la nivel de sistem.

Paywall-uri și permisiuni pentru roboți AI

Cea mai recentă ofertă a Cloudflare introduce, de asemenea, un nou model de monetizare care permite editorilor web să taxeze dezvoltatorii AI pentru accesul la date.

Această caracteristică "pay per crawl" își propune să creeze un cadru financiar pentru utilizarea conținutului, similar cu modul în care serviciile de streaming plătesc redevențe pentru licențierea muzicii și a filmelor.

În timp ce crawlerele AI au răzuit în masă conținutul web pentru a alimenta modele de la companii precum OpenAI și Google, această practică a ocolit adesea site-urile web care găzduiesc materialul original.

Oferind proprietarilor de site-uri web controlul asupra dacă și cum conținutul lor este răzuit și introducând potențiale fluxuri de venituri, mișcarea ar putea ajuta la reechilibrarea schimbului de valoare între editori și firmele de inteligență artificială.

Schimbarea se aplică tuturor domeniilor noi și va fi extinsă treptat la clienții existenți, potrivit Cloudflare.

Editorii vor avea posibilitatea de a gestiona accesul crawlerului AI din panoul lor de control, setând parametri sau cerințe de plată după cum este necesar.

Tensiuni în creștere între dezvoltatorii AI și infrastructura web

OpenAI și-a exprimat îngrijorarea cu privire la abordarea Cloudflare.

Potrivit laboratorului susținut de Microsoft, noul sistem introduce efectiv Cloudflare ca "intermediar", interferând cu negocierile directe dintre furnizorii de conținut și consumatorii de date.

OpenAI a reiterat, de asemenea, că crawlerele sale respectă fișierele robots.txt - un standard de internet care permite site-urilor web să renunțe la răzuirea datelor.

Cu toate acestea, experții din industrie au subliniat că crawlerele AI sunt adesea văzute ca fiind mai invazive decât roboții tradiționali.

Acestea nu sunt doar selective, ci și capabile să copleșească serverele web, uneori ducând la performanțe degradate sau probleme de acces pentru utilizatorii umani.

Unele modele au fost antrenate pe miliarde de documente, ridicând întrebări despre consimțământ, utilizarea corectă și concentrarea puterii AI în mâinile câtorva firme mari.

Matthew Holman, partener juridic la Cripps din Marea Britanie, a declarat pentru CNBC că mișcarea Cloudflare ar putea "împiedica capacitatea chatbot-urilor AI de a colecta date", în special pentru căutare și antrenament de modele.

În timp ce impactul imediat poate fi limitat la site-urile web aflate în sfera de competență a Cloudflare, efectul pe termen lung ar putea fi o încetinire a avansării modelului sau costuri crescute pentru antrenarea sistemelor de înaltă performanță.