Malasia e Indonesia bloquean la IA Grok de Musk por imágenes deepfake explícitas

Malasia e Indonesia han bloqueado el acceso al chatbot de inteligencia artificial Grok de Elon Musk, alegando preocupaciones de que la herramienta se esté utilizando para generar contenido no consensuado, sexualmente explícito y obsceno, incluyendo material que involucra a mujeres y niños.

La acción coordinada del fin de semana marca las primeras prohibiciones conocidas de la herramienta de IA a nivel mundial y añade una creciente presión regulatoria sobre xAI y su plataforma matriz, X.

Los reguladores citan fallos en las salvaguardas

La Comisión de Comunicaciones y Multimedia de Malasia ordenó restricciones temporales a Grok el domingo, señalando lo que describió como "repetidos fracasos de X Corp" para abordar los riesgos de contenido asociados al chatbot.

El regulador afirmó que las respuestas de X eran "insuficientes" y dependían demasiado de los mecanismos de notificación de los usuarios en lugar de abordar los riesgos estructurales en el diseño de la herramienta de IA.

"En consecuencia, la restricción se impone como medida preventiva y proporcionada mientras continúan los procesos legales y regulatorios", afirmó la comisión.

"El acceso a Grok seguirá restringido hasta que se implementen salvaguardas efectivas, especialmente para evitar contenido que involucre a mujeres y niños."

Indonesia impuso un bloqueo temporal similar un día antes.

Su Ministerio de Comunicaciones y Asuntos Digitales dijo que había pedido a los funcionarios X que aclararan el asunto, subrayando que el uso indebido de la IA para generar pornografía falsa constituye "violencia basada en lo digital".

El ministro Meutya Hafid dijo: "El gobierno considera los deepfakes sexuales no consentidos como una grave violación de los derechos humanos, la dignidad y la seguridad ciudadana en el espacio digital."

Ambos países aplican estrictas leyes antipornografía, que prohíben la distribución en línea de material obsceno o sexual.

Acusaciones de mal uso y escrutinio global

Las prohibiciones siguen a informes que indicaban que Grok permitía a los usuarios generar y compartir imágenes explícitas no consensuadas, incluyendo material de abuso sexual infantil.

La Internet Watch Foundation dijo a NBC News que había visto a usuarios de la dark web compartir "imágenes criminales" que dijeron creadas usando Grok, mostrando a menores prácticamente desnudas.

Wired también informó que la herramienta se había utilizado para desnudar digitalmente a mujeres en fotos que llevaban ropa modesta o religiosa, como hiyab, saris y hábitos de monjas.

El alcance de Grok se amplió recientemente después de que xAI actualizara sus funciones "Grok Imagine", facilitando la generación de imágenes a partir de prompts de texto e integrando la herramienta más profundamente con X.

Autoridades de otras regiones, incluyendo la Unión Europea, Reino Unido, Brasil e India, también han iniciado investigaciones sobre el papel de Grok en facilitar deepfakes obscenos y no consensuados.

En Estados Unidos, algunos legisladores demócratas han instado a las tiendas de aplicaciones a suspender la herramienta de IA hasta que se establezcan salvaguardas más estrictas.

Respuesta de xIA e implicaciones para el mercado

En medio de la reacción negativa, xAI anunció que limitaría las funciones de generación y edición de imágenes a los suscriptores de pago para cerrar las lagunas de salvaguarda.

Musk dijo en X que los usuarios que creen contenido ilegal a través de Grok enfrentarían consecuencias equivalentes a subir dicho material directamente a la red social.

Sin embargo, los reguladores afirmaron que esos pasos no fueron suficientes.

CNBC informó que los intentos de contactar con xAI para obtener comentarios devolvieron una respuesta automática que decía: "Medios heredados mienten."