Cloudflare stenger porten for AI-crawlere, gir utgivere kontroll

Cloudflare har rullet ut en omfattende oppdatering til plattformen sin som vil blokkere kunstig intelligens-crawlere som standard fra å få tilgang til innhold på tvers av nettsteder som bruker nettverket.

Avgjørelsen, kunngjort tirsdag, kommer midt i økende bekymring blant utgivere for at AI-modeller blir trent på innholdet deres uten tillatelse eller kompensasjon.

Med omtrent 16 prosent av verdens internettrafikk som passerer gjennom Cloudflare, kan endringen betydelig begrense datarørledningene som mater store språkmodeller (LLM-er).

Oppdateringen betyr at hvert nytt nettsted som registrerer seg hos Cloudflare nå vil bli bedt om å melde seg på eller av AI-crawlertilgang.

Med mindre nettstedseiere eksplisitt gir tillatelse, nektes tilgang som standard.

Flyttingen bygger på et verktøy introdusert av Cloudflare i september 2023, som tillot klienter å blokkere AI-crawlere med et enkelt klikk.

Nå eskalerer selskapet denne muligheten til en systemomfattende standard.

Betalingsmurer og tillatelser for AI-roboter

Cloudflares siste tilbud introduserer også en ny inntektsgenereringsmodell som lar nettutgivere belaste AI-utviklere for datatilgang.

Denne «pay per crawl»-funksjonen tar sikte på å skape et økonomisk rammeverk for innholdsbruk, på samme måte som strømmetjenester betaler royalties for musikk- og filmlisensiering.

Mens AI-crawlere historisk sett har skrapt nettinnhold i massevis for å drive modeller fra selskaper som OpenAI og Google, har denne praksisen ofte omgått nettstedene som er vert for det originale materialet.

Ved å gi nettstedseiere kontroll over om og hvordan innholdet deres skrapes – og introdusere potensielle inntektsstrømmer – kan flyttingen bidra til å balansere verdiutvekslingen mellom utgivere og AI-firmaer.

Endringen gjelder alle nye domener og vil gradvis utvides til eksisterende kunder, ifølge Cloudflare.

Utgivere vil ha muligheten til å administrere AI-crawlertilgang fra kontrollpanelet, angi parametere eller betalingskrav etter behov.

Økende spenninger mellom AI-utviklere og nettinfrastruktur

OpenAI har uttrykt bekymring for Cloudflares tilnærming.

I følge det Microsoft-støttede laboratoriet introduserer det nye systemet effektivt Cloudflare som en "mellommann", som forstyrrer direkte forhandlinger mellom innholdsleverandører og dataforbrukere.

OpenAI gjentok også at søkerobotene respekterer robots.txt filer – en internettstandard som lar nettsteder velge bort dataskraping.

Ikke desto mindre har bransjeeksperter påpekt at AI-crawlere ofte blir sett på som mer invasive enn tradisjonelle roboter.

De er ikke bare selektive, men også i stand til å overvelde webservere, noe som noen ganger fører til forringet ytelse eller tilgangsproblemer for menneskelige brukere.

Noen modeller har blitt trent på milliarder av dokumenter, noe som reiser spørsmål om samtykke, rimelig bruk og konsentrasjonen av AI-makt i hendene på noen få store firmaer.

Matthew Holman, en juridisk partner hos Cripps i Storbritannia, sa til CNBC at Cloudflares trekk kan "hindre AI-chatbots evne til å høste data", spesielt for søk og modelltrening.

Selv om den umiddelbare effekten kan være begrenset til nettsteder under Cloudflares ansvarsområde, kan den langsiktige effekten være en nedgang i modellutvikling eller økte kostnader for opplæring av høyytelsessystemer.