Cloudflare lukker porten for AI-crawlere, giver udgivere kontrol

Cloudflare har udrullet en gennemgribende opdatering til sin platform, der som standard blokerer kunstig intelligens-crawlere fra at få adgang til indhold på tværs af websteder ved hjælp af dets netværk.

Beslutningen, der blev annonceret tirsdag, kommer midt i voksende bekymring blandt udgivere over, at AI-modeller bliver trænet på deres indhold uden tilladelse eller kompensation.

Med cirka 16 procent af verdens internettrafik, der passerer gennem Cloudflare, kan ændringen betydeligt begrænse de datapipelines, der fodrer store sprogmodeller (LLM'er).

Opdateringen betyder, at hvert nyt websted, der registrerer sig hos Cloudflare, nu vil blive bedt om at til- eller fravælge AI-crawleradgang.

Medmindre webstedsejere udtrykkeligt giver tilladelse, nægtes adgang som standard.

Flytningen bygger på et værktøj introduceret af Cloudflare i september 2023, som gjorde det muligt for kunder at blokere AI-crawlere med et enkelt klik.

Nu eskalerer virksomheden denne kapacitet til en systemdækkende standard.

Betalingsmure og tilladelser til AI-robotter

Cloudflares seneste tilbud introducerer også en ny indtægtsgenereringsmodel, der giver webudgivere mulighed for at opkræve AI-udviklere for dataadgang.

Denne "pay per crawl"-funktion har til formål at skabe en økonomisk ramme for indholdsbrug, svarende til hvordan streamingtjenester betaler royalties for musik- og filmlicenser.

Mens AI-crawlere historisk set har skrabet webindhold i massevis for at drive modeller fra virksomheder som OpenAI og Google, har denne praksis ofte omgået de websteder, der hoster det originale materiale.

Ved at give webstedsejere kontrol over, om og hvordan deres indhold skrabes – og introducere potentielle indtægtsstrømme – kan tiltaget hjælpe med at genskabe balancen mellem udgivere og AI-virksomheder.

Ændringen gælder for alle nye domæner og vil gradvist blive udvidet til eksisterende kunder, ifølge Cloudflare.

Udgivere vil have mulighed for at administrere AI-crawleradgang fra deres kontrolpanel, indstille parametre eller betalingskrav efter behov.

Stigende spændinger mellem AI-udviklere og webinfrastruktur

OpenAI har udtrykt bekymring over Cloudflares tilgang.

Ifølge det Microsoft-støttede laboratorium introducerer det nye system effektivt Cloudflare som en "mellemmand", der forstyrrer direkte forhandlinger mellem indholdsudbydere og dataforbrugere.

OpenAI gentog også, at dets crawlere respekterer robots.txt filer - en internetstandard, der giver websteder mulighed for at fravælge dataskrabning.

Ikke desto mindre har brancheeksperter påpeget, at AI-crawlere ofte ses som mere invasive end traditionelle bots.

De er ikke kun selektive, men også i stand til at overvælde webservere, hvilket nogle gange fører til forringet ydeevne eller adgangsproblemer for menneskelige brugere.

Nogle modeller er blevet trænet på milliarder af dokumenter, hvilket rejser spørgsmål om samtykke, fair use og koncentrationen af AI-magt i hænderne på nogle få store virksomheder.

Matthew Holman, en juridisk partner hos Cripps i Storbritannien, fortalte CNBC, at Cloudflares træk kan "hindre AI-chatbots evne til at høste data", især til søgning og modeltræning.

Selvom den umiddelbare effekt kan være begrænset til websteder under Cloudflares ansvarsområde, kan den langsigtede effekt være en opbremsning i modeludvikling eller øgede omkostninger til træning af højtydende systemer.