X enfrenta un escrutinio global mientras el chatbot de Grok genera imágenes explotadoras

La plataforma de redes sociales de Elon Musk, X (anteriormente conocida como Twitter), está enfrentándose a un creciente escrutinio regulatorio en múltiples jurisdicciones tras el uso de su chatbot Grok para crear y compartir imágenes sexualizadas generadas por IA de niños y mujeres.

Las autoridades de Europa, India y Malasia han iniciado investigaciones, mientras que funcionarios de Brasil y Reino Unido también han expresado su preocupación, lo que supone uno de los desafíos regulatorios globales más graves hasta la fecha para las ambiciones de Musk en materia de IA.

La controversia gira en torno a Grok Imagine, una función recientemente actualizada que permite a los usuarios generar imágenes a partir de indicaciones basadas en texto directamente en X.

En las últimas semanas, se ha utilizado la herramienta para producir y difundir imágenes íntimas no consensuadas (NCII), incluyendo contenido que representa a menores.

Muchas de estas imágenes se han difundido ampliamente en la plataforma, lo que ha provocado la intervención de reguladores y defensores de la seguridad.

Los reguladores se mueven por Europa, Asia y América Latina

En Europa, el tema ha recibido duras críticas por parte de los funcionarios.

En una rueda de prensa el lunes, el portavoz de la Comisión Europea, Thomas Regnier, dijo que la autoridad estaba "muy seriamente investigando este asunto", añadiendo que X y Grok ofrecían un "modo picante" que producía contenido sexual explícito, incluidas imágenes infantiles.

"Esto no es 'picante'", dijo Regnier. "Esto es ilegal. Esto es espantoso. Esto es asqueroso."

El organismo británico de vigilancia mediática Ofcom confirmó que ha solicitado información a X sobre los asuntos de Grok.

En la India, el Ministerio de Electrónica y Tecnología de la Información ordenó a X a finales de la semana pasada realizar una "revisión exhaustiva a nivel técnico, procedimental y de gobernanza" de Grok, fijando como fecha límite para el cumplimiento el 5 de enero.

La Comisión de Comunicaciones y Multimedia de Malasia dijo que está investigando la plataforma y convocará a representantes de las empresas, instando a medidas de salvaguardia más estrictas alineadas con las leyes locales.

En Brasil, una diputada dijo haber pedido al fiscal federal y a la autoridad de protección de datos del país que suspendieran el uso de Grok hasta que se complete la investigación.

Musk, xAI y el debate sobre la seguridad

Mientras que los expertos en seguridad y críticos tecnológicos condenaban la proliferación de imágenes explotadoras, Musk pareció burlarse de la controversia compartiendo imágenes generadas por Grok en X, incluyendo una en la que se mostraba a sí mismo en bikini.

Posteriormente, X emitió su primera respuesta pública a través de su cuenta oficial de Safety, afirmando que toma medidas contra contenido ilegal, incluido el material de abuso sexual infantil (CSAM), mediante eliminaciones, suspensiones de cuentas y cooperación con las fuerzas del orden.

Musk advirtió por separado que cualquiera que incitara a Grok a crear contenido ilegal enfrentaría las mismas consecuencias que subir dicho material.

Un empleado de xAI dijo que Grok Imagine había sido actualizado, pero no especificó si los cambios abordaban la generación de imágenes explícitas dañinas.

En Estados Unidos, el Centro Nacional sobre Explotación Sexual pidió al Departamento de Justicia y a la Comisión Federal de Comercio que investigaran.

Aunque las agencias federales declinaron hacer comentarios, el NCOSE señaló que las leyes existentes que prohíben la creación y distribución de CSAM podrían aplicarse incluso a contenido creado virtualmente en ciertas circunstancias.

El tráfico aumenta a pesar de la controversia

A pesar de la reacción negativa, la participación de los usuarios de X no se ha visto afectada.

Los datos de Apptopia muestran que las descargas diarias de Grok han aumentado un 54% desde el 2 de enero, mientras que las descargas diarias de X han subido un 25% en los últimos tres días.

Los críticos argumentan que el episodio pone de manifiesto las debilidades en la infraestructura de confianza y seguridad de X, especialmente en lo que respecta al contenido generado por IA.