Cloudflare stänger grinden för AI-sökrobotar, sätter utgivare i kontroll

Cloudflare har rullat ut en genomgripande uppdatering av sin plattform som kommer att blockera sökrobotar för artificiell intelligens som standard från att komma åt innehåll på webbplatser som använder dess nätverk.

Beslutet, som tillkännagavs på tisdagen, kommer mitt i en växande oro bland utgivare att AI-modeller tränas på deras innehåll utan tillstånd eller ersättning.

Med cirka 16 procent av världens internettrafik som passerar genom Cloudflare, kan förändringen avsevärt begränsa de datapipelines som matar stora språkmodeller (LLM).

Uppdateringen innebär att varje ny webbplats som registreras hos Cloudflare nu kommer att uppmanas att välja eller välja bort åtkomst till AI-sökrobotar.

Om inte webbplatsägare uttryckligen ger tillstånd kommer åtkomst att nekas som standard.

Flytten bygger på ett verktyg som introducerades av Cloudflare i september 2023, som gjorde det möjligt för kunder att blockera AI-sökrobotar med ett enda klick.

Nu eskalerar företaget den funktionen till en systemomfattande standard.

Betalväggar och behörigheter för AI-botar

Cloudflares senaste erbjudande introducerar också en ny modell för intäktsgenerering som gör det möjligt för webbpublicister att debitera AI-utvecklare för dataåtkomst.

Denna "pay per crawl"-funktion syftar till att skapa en ekonomisk ram för innehållsanvändning, liknande hur streamingtjänster betalar royalties för musik- och filmlicenser.

Även om AI-sökrobotar historiskt sett har skrapat webbinnehåll i massor för att driva modeller från företag som OpenAI och Google, har denna praxis ofta kringgått de webbplatser som är värd för det ursprungliga materialet.

Genom att ge webbplatsägare kontroll över om och hur deras innehåll skrapas – och introducera potentiella intäktsströmmar – kan flytten hjälpa till att balansera värdeutbytet mellan utgivare och AI-företag.

Förändringen gäller alla nya domäner och kommer gradvis att utökas till befintliga kunder, enligt Cloudflare.

Utgivare kommer att ha möjlighet att hantera åtkomst till AI-sökrobotar från sin kontrollpanel och ställa in parametrar eller betalningskrav efter behov.

Ökade spänningar mellan AI-utvecklare och webbinfrastruktur

OpenAI har uttryckt oro över Cloudflares tillvägagångssätt.

Enligt det Microsoft-stödda labbet introducerar det nya systemet effektivt Cloudflare som en "mellanhand", som stör direkta förhandlingar mellan innehållsleverantörer och datakonsumenter.

OpenAI upprepade också att dess sökrobotar respekterar robots.txt filer – en internetstandard som gör det möjligt för webbplatser att välja bort dataskrapning.

Ändå har branschexperter påpekat att AI-sökrobotar ofta ses som mer invasiva än traditionella bots.

De är inte bara selektiva utan kan också överväldiga webbservrar, vilket ibland leder till försämrad prestanda eller åtkomstproblem för mänskliga användare.

Vissa modeller har tränats på miljarder dokument, vilket väcker frågor om samtycke, rättvis användning och koncentrationen av AI-makt i händerna på ett fåtal stora företag.

Matthew Holman, en juridisk partner på Cripps i Storbritannien, berättade för CNBC att Cloudflares drag kan "hindra AI-chatbots förmåga att samla in data", särskilt för sök- och modellträning.

Även om den omedelbara effekten kan vara begränsad till webbplatser under Cloudflares ansvarsområde, kan den långsiktiga effekten vara en avmattning i modellutvecklingen eller ökade kostnader för att träna högpresterande system.