Cloudflare fecha o portão para rastreadores de IA e coloca editores no controle

A Cloudflare lançou uma atualização abrangente em sua plataforma que impedirá que rastreadores de inteligência artificial acessem conteúdo em sites usando sua rede.

A decisão, anunciada na terça-feira, ocorre em meio à crescente preocupação entre os editores de que os modelos de IA estão sendo treinados em seu conteúdo sem permissão ou compensação.

Com aproximadamente 16% do tráfego mundial da Internet passando pela Cloudflare, a mudança pode reduzir significativamente os pipelines de dados que alimentam grandes modelos de linguagem (LLMs).

A atualização significa que todos os novos sites registrados na Cloudflare agora serão solicitados a aceitar ou recusar o acesso do rastreador de IA.

A menos que os proprietários do site concedam permissão explicitamente, o acesso será negado por padrão.

A mudança se baseia em uma ferramenta introduzida pela Cloudflare em setembro de 2023, que permitia aos clientes bloquear rastreadores de IA com um único clique.

Agora, a empresa está escalando esse recurso para um padrão em todo o sistema.

Paywalls e permissões para bots de IA

A oferta mais recente da Cloudflare também apresenta um novo modelo de monetização que permite que os editores da web cobrem dos desenvolvedores de IA pelo acesso aos dados.

Esse recurso de "pagamento por rastreamento" visa criar uma estrutura financeira para o uso de conteúdo, semelhante à forma como os serviços de streaming pagam royalties pelo licenciamento de músicas e filmes.

Embora os rastreadores de IA tenham historicamente coletado conteúdo da web em massa para alimentar modelos de empresas como OpenAI e Google, essa prática muitas vezes ignorou os sites que hospedam o material original.

Ao dar aos proprietários de sites controle sobre se e como seu conteúdo é raspado – e introduzir fluxos de receita potenciais – a mudança pode ajudar a reequilibrar a troca de valor entre editores e empresas de IA.

A mudança se aplica a todos os novos domínios e será gradualmente estendida aos clientes existentes, de acordo com a Cloudflare.

Os editores terão a capacidade de gerenciar o acesso ao rastreador de IA a partir de seu painel de controle, definindo parâmetros ou requisitos de pagamento conforme necessário.

Tensões crescentes entre desenvolvedores de IA e infraestrutura da web

A OpenAI expressou preocupações sobre a abordagem da Cloudflare.

De acordo com o laboratório apoiado pela Microsoft, o novo sistema efetivamente apresenta a Cloudflare como um "intermediário", interferindo nas negociações diretas entre provedores de conteúdo e consumidores de dados.

A OpenAI também reiterou que seus rastreadores respeitam robots.txt arquivos - um padrão da Internet que permite que os sites optem por não coletar dados.

No entanto, especialistas do setor apontaram que os rastreadores de IA são frequentemente vistos como mais invasivos do que os bots tradicionais.

Eles não são apenas seletivos, mas também capazes de sobrecarregar os servidores da web, às vezes levando a problemas degradados de desempenho ou acesso para usuários humanos.

Alguns modelos foram treinados em bilhões de documentos, levantando questões sobre consentimento, uso justo e a concentração do poder da IA nas mãos de algumas grandes empresas.

Matthew Holman, sócio jurídico da Cripps no Reino Unido, disse à CNBC que a mudança da Cloudflare pode "prejudicar a capacidade dos chatbots de IA de coletar dados", especialmente para pesquisa e treinamento de modelos.

Embora o impacto imediato possa ser limitado a sites sob a alçada da Cloudflare, o efeito de longo prazo pode ser uma desaceleração no avanço do modelo ou aumento dos custos de treinamento de sistemas de alto desempenho.