Cloudflare sulkee portin tekoälyn indeksointiroboteilta ja antaa julkaisijoille hallinnan

Cloudflare on julkaissut alustalleen laajan päivityksen, joka estää tekoälyn indeksointirobotteja oletusarvoisesti pääsemästä sisältöön sen verkkoa käyttävillä verkkosivustoilla.

Tiistaina julkistettu päätös tulee keskellä julkaisijoiden kasvavaa huolta siitä, että tekoälymalleja koulutetaan niiden sisältöön ilman lupaa tai korvausta.

Noin 16 prosenttia maailman Internet-liikenteestä kulkee Cloudflaren kautta, joten muutos voi rajoittaa merkittävästi suuria kielimalleja (LLM) syöttäviä tietoputkia.

Päivitys tarkoittaa, että jokaista uutta Cloudflareen rekisteröityvää verkkosivustoa pyydetään nyt ottamaan käyttöön tai poistamaan AI-indeksointirobotti.

Ellei verkkosivustojen omistaja nimenomaisesti myönnä lupaa, pääsy evätään oletusarvoisesti.

Siirto perustuu Cloudflaren syyskuussa 2023 esittelemään työkaluun, jonka avulla asiakkaat voivat estää tekoälyindeksointirobotteja yhdellä napsautuksella.

Nyt yritys on laajentamassa tätä ominaisuutta koko järjestelmän laajuiseksi oletusarvoksi.

Maksumuurit ja käyttöoikeudet tekoälyboteille

Cloudflaren uusin tarjonta esittelee myös uuden kaupallistamismallin, jonka avulla verkkojulkaisijat voivat veloittaa tekoälykehittäjiltä tietojen käytöstä.

Tämän "pay per crawl" -ominaisuuden tarkoituksena on luoda sisällön käytölle taloudelliset puitteet, jotka ovat samanlaisia kuin suoratoistopalvelut maksavat rojalteja musiikin ja elokuvien lisensoinnista.

Vaikka tekoälyn indeksointirobotit ovat historiallisesti kaapinneet verkkosisältöä massoittain OpenAI:n ja Googlen kaltaisten yritysten malleihin, tämä käytäntö on usein ohittanut alkuperäistä materiaalia isännöivät verkkosivustot.

Antamalla verkkosivustojen omistajille mahdollisuuden hallita sitä, kaapataanko heidän sisältönsä ja miten – ja ottamalla käyttöön mahdollisia tulovirtoja – siirto voi auttaa tasapainottamaan arvonvaihtoa julkaisijoiden ja tekoälyyritysten välillä.

Cloudflaren mukaan muutos koskee kaikkia uusia verkkotunnuksia, ja sitä laajennetaan vähitellen nykyisiin asiakkaisiin.

Julkaisijat voivat hallita tekoälyn indeksointirobottien käyttöoikeuksia ohjauspaneelistaan ja asettaa parametreja tai maksuvaatimuksia tarpeen mukaan.

Tekoälykehittäjien ja verkkoinfrastruktuurin väliset jännitteet kasvavat

OpenAI on ilmaissut huolensa Cloudflaren lähestymistavasta.

Microsoftin tukeman laboratorion mukaan uusi järjestelmä esittelee Cloudflaren tehokkaasti "välittäjänä", joka häiritsee suoria neuvotteluja sisällöntuottajien ja tietojen kuluttajien välillä.

OpenAI toisti myös, että sen indeksointirobotit kunnioittavat robots.txt tiedostoja – Internet-standardia, jonka avulla verkkosivustot voivat kieltäytyä tietojen kaapimisesta.

Alan asiantuntijat ovat kuitenkin huomauttaneet, että tekoälyn indeksointirobotteja pidetään usein invasiivisempina kuin perinteisiä botteja.

Ne eivät ole vain valikoivia, vaan ne pystyvät myös ylikuormittamaan verkkopalvelimia, mikä joskus heikentää suorituskykyä tai pääsyongelmia ihmiskäyttäjille.

Jotkut mallit on koulutettu miljardeilla asiakirjoilla, mikä herättää kysymyksiä suostumuksesta, kohtuullisesta käytöstä ja tekoälyvallan keskittymisestä muutamien suurten yritysten käsiin.

Matthew Holman, Crippsin lakikumppani Isossa-Britanniassa, kertoi CNBC:lle, että Cloudflaren siirto voi "estää tekoälychatbottien kykyä kerätä tietoja", erityisesti haku- ja mallikoulutusta varten.

Vaikka välitön vaikutus voi rajoittua Cloudflaren vastuualueeseen kuuluviin verkkosivustoihin, pitkän aikavälin vaikutus voi olla mallien edistymisen hidastuminen tai korkean suorituskyvyn järjestelmien koulutuskustannusten nousu.