Cloudflare cierra la puerta a los rastreadores de IA y pone a los editores en control

Cloudflare ha lanzado una amplia actualización de su plataforma que bloqueará de forma predeterminada a los rastreadores de inteligencia artificial para que no accedan al contenido de los sitios web que utilizan su red.

La decisión, anunciada el martes, se produce en medio de una creciente preocupación entre los editores de que los modelos de IA están siendo entrenados en su contenido sin permiso ni compensación.

Dado que aproximadamente el 16 por ciento del tráfico mundial de Internet pasa por Cloudflare, el cambio podría reducir significativamente las canalizaciones de datos que alimentan los grandes modelos de lenguaje (LLM).

La actualización significa que a cada nuevo sitio web que se registre en Cloudflare se le pedirá que opte por participar o no en el acceso al rastreador de IA.

A menos que los propietarios del sitio web otorguen permiso explícitamente, el acceso se denegará de forma predeterminada.

La medida se basa en una herramienta introducida por Cloudflare en septiembre de 2023, que permitía a los clientes bloquear rastreadores de IA con un solo clic.

Ahora, la compañía está escalando esa capacidad a un valor predeterminado en todo el sistema.

Muros de pago y permisos para bots de IA

La última oferta de Cloudflare también presenta un nuevo modelo de monetización que permite a los editores web cobrar a los desarrolladores de IA por el acceso a los datos.

Esta función de "pago por rastreo" tiene como objetivo crear un marco financiero para el uso de contenidos, similar a cómo los servicios de streaming pagan regalías por licencias de música y películas.

Si bien los rastreadores de IA históricamente han extraído contenido web en masa para impulsar modelos de empresas como OpenAI y Google, esta práctica a menudo ha pasado por alto los sitios web que alojan el material original.

Al dar a los propietarios de sitios web el control sobre si su contenido se extrae y cómo, e introducir posibles fuentes de ingresos, la medida podría ayudar a reequilibrar el intercambio de valor entre los editores y las empresas de IA.

El cambio se aplica a todos los dominios nuevos y se extenderá gradualmente a los clientes existentes, según Cloudflare.

Los editores tendrán la capacidad de administrar el acceso al rastreador de IA desde su panel de control, estableciendo parámetros o requisitos de pago según sea necesario.

Aumento de las tensiones entre los desarrolladores de IA y la infraestructura web

OpenAI ha expresado su preocupación por el enfoque de Cloudflare.

Según el laboratorio respaldado por Microsoft, el nuevo sistema introduce efectivamente a Cloudflare como un "intermediario", interfiriendo con las negociaciones directas entre los proveedores de contenido y los consumidores de datos.

OpenAI también reiteró que sus rastreadores respetan robots.txt archivos, un estándar de Internet que permite a los sitios web optar por no participar en el raspado de datos.

No obstante, los expertos de la industria han señalado que los rastreadores de IA a menudo se consideran más invasivos que los bots tradicionales.

No solo son selectivos, sino que también son capaces de abrumar a los servidores web, lo que a veces conduce a un rendimiento degradado o problemas de acceso para los usuarios humanos.

Algunos modelos se han entrenado con miles de millones de documentos, lo que plantea preguntas sobre el consentimiento, el uso justo y la concentración del poder de la IA en manos de unas pocas grandes empresas.

Matthew Holman, socio legal de Cripps en el Reino Unido, dijo a CNBC que la medida de Cloudflare podría "obstaculizar la capacidad de los chatbots de IA para recopilar datos", especialmente para la búsqueda y el entrenamiento de modelos.

Si bien el impacto inmediato puede limitarse a los sitios web bajo el ámbito de Cloudflare, el efecto a largo plazo podría ser una desaceleración en el avance del modelo o un aumento de los costos de entrenamiento de sistemas de alto rendimiento.