Malaysia, Indonesien blockerar Musks Grok AI på grund av explicita deepfake-bilder

Malaysia och Indonesien har blockerat tillgången till Elon Musks artificiella intelligens-chatbot Rok, med hänvisning till oro för att verktyget används för att skapa icke-samtyckande, sexuellt explicit och obscent innehåll, inklusive material som involverar kvinnor och barn.

Den samordnade insatsen under helgen markerar de första kända förbuden mot AI-verktyget globalt och ökar det ökande regulatoriska trycket på xAI och dess moderplattform, X.

Tillsynsmyndigheter hänvisar till brister i skyddsåtgärder

Malaysias kommunikations- och multimediakommission beordrade tillfälliga restriktioner för Grok på söndagen, med hänvisning till vad de beskrev som "upprepade misslyckanden från X Corps sida" att hantera innehållsrisker kopplade till chattboten.

Regulatorn sade att X:s svar var "otillräckliga" och förlitade sig alltför mycket på användarrapporteringsmekanismer istället för att ta itu med strukturella risker i AI-verktygets design.

"Därför införs begränsningen som en förebyggande och proportionerlig åtgärd medan juridiska och reglerande processer pågår," sade kommissionen.

"Tillgången till Grok kommer att förbli begränsad tills effektiva skyddsåtgärder införs, särskilt för att förhindra innehåll som involverar kvinnor och barn."

Indonesien införde en liknande tillfällig blockering dagen innan.

Dess kommunikations- och digitala departement uppgav att de hade bett X-tjänstemän att förtydliga ärendet och betonade att missbruk av AI för att skapa falsk pornografi utgör "digitalt våld."

Minister Meutya Hafid sade: "Regeringen ser icke-samtyckta sexuella deepfakes som ett allvarligt brott mot mänskliga rättigheter, värdighet och medborgarnas säkerhet i det digitala rummet."

Båda länderna upprätthåller strikta antipornografilagar, som förbjuder online-distribution av obscent eller sexuellt material.

Anklagelser om missbruk och global granskning

Avstängningarna följer rapporter om att Grok möjliggjorde för användare att generera och dela icke-samtyckta explicita bilder, inklusive material om sexuella övergrepp mot barn.

Internet Watch Foundation berättade för NBC News att de sett användare på dark web dela "kriminella bilder" som de sade skapades med Grok, där minderåriga flickor i princip var avklädda.

Wired rapporterade också att verktyget hade använts för att digitalt klä av kvinnor på foton som bar blygsamma eller religiösa kläder som hijab, saris och nunnedräkter.

Groks räckvidd utökades nyligen efter att xAI uppdaterade sina "Grok Imagine"-funktioner, vilket gjorde bildgenerering från textpromptar enklare och integrerade verktyget djupare med X.

Myndigheter i andra regioner, inklusive Europeiska unionen, Storbritannien, Brasilien och Indien, har också inlett undersökningar av Groks roll i att underlätta obscenta och icke-samtyckta deepfakes.

I USA har vissa demokratiska lagstiftare uppmanat appbutiker att stänga av AI-verktyget tills starkare skyddsåtgärder finns på plats.

xAI:s svar och marknadsimplikationer

Mitt i motreaktionen sade xAI att de skulle begränsa bildgenererings- och redigeringsfunktioner till betalande prenumeranter i ett försök att täppa till skyddsluckor.

Musk sade på X att användare som skapar olagligt innehåll via Grok skulle drabbas av konsekvenser motsvarande att ladda upp sådant material direkt till den sociala medieplattformen.

Regulatorerna sade dock att dessa åtgärder inte gick tillräckligt långt.

CNBC rapporterade att försök att kontakta xAI för en kommentar gav ett automatiskt svar med texten "Legacy Media Livers."