Malásia e Indonésia bloqueiam a IA Grok de Musk por imagens deepfake explícitas

Malásia e Indonésia bloquearam o acesso ao chatbot de inteligência artificial Grok, de Elon Musk, citando preocupações de que a ferramenta está sendo usada para gerar conteúdo não consensual, sexualmente explícito e obsceno, incluindo material envolvendo mulheres e crianças.

A ação coordenada do fim de semana marca as primeiras proibições conhecidas da ferramenta de IA globalmente e aumenta a pressão regulatória sobre a xAI e sua plataforma-mãe, a X.

Reguladores citam falhas nas salvaguardas

A Comissão de Comunicações e Multimídia da Malásia ordenou restrições temporárias ao Grok no domingo, apontando o que descreveu como "repetidas falhas da X Corp" em enfrentar riscos de conteúdo associados ao chatbot.

O regulador afirmou que as respostas de X foram "insuficientes" e dependeram demais dos mecanismos de denúncia dos usuários, em vez de abordar riscos estruturais no design da ferramenta de IA.

"Assim, a restrição é imposta como uma medida preventiva e proporcional enquanto os processos legais e regulatórios estão em andamento", afirmou a comissão.

"O acesso ao Grok permanecerá restrito até que salvaguardas eficazes sejam implementadas, especialmente para evitar conteúdo envolvendo mulheres e crianças."

A Indonésia impôs um bloqueio temporário semelhante um dia antes.

Seu Ministério das Comunicações e Assuntos Digitais disse que solicitou a X funcionários que esclarecessem o assunto, ressaltando que o uso indevido de IA para gerar pornografia falsa constitui "violência baseada em digital".

O ministro Meutya Hafid disse: "O governo vê os deepfakes sexuais não consensuais como uma grave violação dos direitos humanos, da dignidade e da segurança dos cidadãos no espaço digital."

Ambos os países aplicam leis rigorosas anti-pornografia, que proíbem a distribuição online de material obsceno ou sexual.

Alegações de uso indevido e escrutínio global

Os banimentos ocorrem após relatos de que o Grok permitiu que usuários gerassem e compartilhassem imagens explícitas não consensuais, incluindo material de abuso sexual infantil.

A Internet Watch Foundation disse à NBC News que viu usuários da dark web compartilhando "imagens criminosas" que disseram terem sido criadas usando Grok, retratando garotas menores praticamente despidas.

A Wired também relatou que a ferramenta foi usada para despir digitalmente mulheres em fotos usando roupas modestas ou religiosas, como hijab, saris e hábitos de freira.

O alcance do Grok se expandiu recentemente após a xAI atualizar seus recursos "Grok Imagine", facilitando a geração de imagens a partir de prompts de texto e integrando a ferramenta mais profundamente com o X.

Autoridades de outras regiões, incluindo União Europeia, Reino Unido, Brasil e Índia, também lançaram investigações sobre o papel de Grok na facilitação de deepfakes obscenos e não consensuais.

Nos EUA, alguns legisladores democratas pediram que as lojas de aplicativos suspendam a ferramenta de IA até que salvaguardas mais fortes estejam em vigor.

Resposta da xIA e implicações para o mercado

Em meio à reação negativa, a xAI disse que limitaria os recursos de geração e edição de imagens aos assinantes pagantes, numa tentativa de fechar lacunas de proteção.

Musk disse no X que usuários que criarem conteúdo ilegal via Grok enfrentariam consequências equivalentes a enviar esse material diretamente para a plataforma de mídia social.

No entanto, os órgãos reguladores disseram que essas medidas não foram suficientes.

A CNBC informou que tentativas de contatar a xAI para comentários retornaram uma resposta automática dizendo: "Mentiras da mídia tradicional."