Cloudflare sluit de poort voor AI-crawlers en geeft uitgevers de controle

Cloudflare heeft een ingrijpende update van zijn platform uitgerold die crawlers met kunstmatige intelligentie standaard blokkeert voor toegang tot inhoud op websites die gebruik maken van zijn netwerk.

De beslissing, die dinsdag werd aangekondigd, komt te midden van groeiende bezorgdheid onder uitgevers dat AI-modellen zonder toestemming of compensatie op hun inhoud worden getraind.

Aangezien ongeveer 16 procent van het internetverkeer in de wereld via Cloudflare verloopt, zou de verandering de datapijplijnen die grote taalmodellen (LLM's) voeden, aanzienlijk kunnen inperken.

De update betekent dat elke nieuwe website die zich registreert bij Cloudflare nu wordt gevraagd om zich aan of af te melden voor AI-crawlertoegang.

Tenzij website-eigenaren expliciet toestemming geven, wordt de toegang standaard geweigerd.

De stap bouwt voort op een tool die in september 2023 door Cloudflare werd geïntroduceerd en waarmee klanten AI-crawlers met een enkele klik konden blokkeren.

Nu escaleert het bedrijf die mogelijkheid tot een systeembrede standaard.

Paywalls en machtigingen voor AI-bots

Het nieuwste aanbod van Cloudflare introduceert ook een nieuw model voor het genereren van inkomsten waarmee webuitgevers AI-ontwikkelaars kunnen laten betalen voor gegevenstoegang.

Deze "pay per crawl"-functie is bedoeld om een financieel kader te creëren voor het gebruik van inhoud, vergelijkbaar met de manier waarop streamingdiensten royalty's betalen voor muziek- en filmlicenties.

Hoewel AI-crawlers in het verleden massaal webinhoud hebben geschraapt om modellen van bedrijven als OpenAI en Google aan te drijven, heeft deze praktijk vaak de websites omzeild die het originele materiaal hosten.

Door website-eigenaren controle te geven over of en hoe hun inhoud wordt geschraapt - en potentiële inkomstenstromen te introduceren - zou de stap kunnen helpen om de waarde-uitwisseling tussen uitgevers en AI-bedrijven opnieuw in evenwicht te brengen.

De wijziging is van toepassing op alle nieuwe domeinen en zal volgens Cloudflare geleidelijk worden uitgebreid naar bestaande klanten.

Uitgevers hebben de mogelijkheid om de toegang tot AI-crawlers te beheren vanuit hun configuratiescherm en indien nodig parameters of betalingsvereisten in te stellen.

Toenemende spanningen tussen AI-ontwikkelaars en webinfrastructuur

OpenAI heeft zijn bezorgdheid geuit over de aanpak van Cloudflare.

Volgens het door Microsoft gesteunde lab introduceert het nieuwe systeem Cloudflare effectief als een 'tussenpersoon', die zich bemoeit met directe onderhandelingen tussen contentproviders en dataconsumenten.

OpenAI herhaalde ook dat zijn crawlers robots.txt bestanden respecteren - een internetstandaard waarmee websites zich kunnen afmelden voor het schrapen van gegevens.

Desalniettemin hebben experts uit de industrie erop gewezen dat AI-crawlers vaak als invasiever worden gezien dan traditionele bots.

Ze zijn niet alleen selectief, maar ook in staat om webservers te overweldigen, wat soms leidt tot verslechterde prestaties of toegangsproblemen voor menselijke gebruikers.

Sommige modellen zijn getraind op miljarden documenten, wat vragen oproept over toestemming, redelijk gebruik en de concentratie van AI-macht in de handen van een paar grote bedrijven.

Matthew Holman, een juridische partner bij Cripps in het Verenigd Koninkrijk, vertelde CNBC dat de stap van Cloudflare "het vermogen van AI-chatbots om gegevens te verzamelen zou kunnen belemmeren", vooral voor zoek- en modeltraining.

Hoewel de onmiddellijke impact beperkt kan blijven tot websites die onder de bevoegdheid van Cloudflare vallen, kan het langetermijneffect een vertraging van de modelontwikkeling of hogere kosten voor het trainen van high-performance systemen zijn.