Malaysia og Indonesien blokerer Musks Grok AI på grund af eksplicitte deepfake-billeder

Malaysia og Indonesien har blokeret adgangen til Elon Musks kunstige intelligens-chatbot Rok med henvisning til bekymring for, at værktøjet bruges til at generere ikke-samtykkende, seksuelt eksplicit og obskønt indhold, herunder materiale med kvinder og børn.

Den koordinerede handling i weekenden markerer de første kendte forbud mod AI-værktøjet globalt og øger det stigende regulatoriske pres på xAI og dets moderplatform, X.

Tilsynsmyndigheder nævner fejl i sikkerhedsforanstaltninger

Malaysias Kommunikations- og Multimediekommission pålagde søndag midlertidige restriktioner på Grok og pegede på det, de beskrev som "gentagne fejl fra X Corps side" i at håndtere indholdsrisici forbundet med chatbotten.

Regulatoren sagde, at X's svar var "utilstrækkelige" og byggede for meget på brugerrapporteringsmekanismer frem for at adressere strukturelle risici i designet af AI-værktøjet.

"Derfor pålægges begrænsningen som en forebyggende og proportional foranstaltning, mens juridiske og regulatoriske processer er i gang," sagde kommissionen.

"Adgangen til Grok vil forblive begrænset, indtil effektive sikkerhedsforanstaltninger er implementeret, især for at forhindre indhold, der involverer kvinder og børn."

Indonesien indførte en lignende midlertidig blokering dagen før.

Dets Ministerium for Kommunikation og Digitale Anliggender oplyste, at det havde bedt X-embedsmænd om at præcisere sagen og understregede, at misbrug af AI til at skabe falsk pornografi udgør "digitalbaseret vold."

Minister Meutya Hafid sagde: "Regeringen betragter ikke-samtykkende seksuelle deepfakes som en alvorlig krænkelse af menneskerettigheder, værdighed og borgernes sikkerhed i det digitale rum."

Begge lande håndhæver strenge anti-pornografiske love, som forbyder online distribution af obskønt eller seksuelt materiale.

Anklager om misbrug og global granskning

Forbuddene følger rapporter om, at Grok gjorde det muligt for brugere at generere og dele eksplicitte billeder uden samtykke, herunder materiale om seksuelt misbrug af børn.

Internet Watch Foundation fortalte NBC News, at de havde set brugere på dark web dele "kriminelt billedmateriale", som de sagde var skabt med Grok, og som viste mindreårige piger næsten nøgne.

Wired rapporterede også, at værktøjet var blevet brugt til digitalt at klæde kvinder af på fotos, hvor de bar beskedent eller religiøst tøj som hijab, sarier og nonnedragter.

Groks rækkevidde blev for nylig udvidet, efter at xAI opdaterede sine "Grok Imagine"-funktioner, hvilket gjorde billedgenerering fra tekstprompts lettere og integrerede værktøjet dybere med X.

Myndigheder i andre regioner, herunder EU, Storbritannien, Brasilien og Indien, har også iværksat undersøgelser af Groks rolle i at facilitere obskøne og ikke-samtykkende deepfakes.

I USA har nogle demokratiske lovgivere opfordret app-butikker til at suspendere AI-værktøjet, indtil stærkere sikkerhedsforanstaltninger er på plads.

xAI-respons og markedsimplikationer

Midt i modreaktionen sagde xAI, at de ville begrænse billedgenererings- og redigeringsfunktioner til betalende abonnenter i et forsøg på at lukke sikkerhedshuller.

Musk sagde på X, at brugere, der skaber ulovligt indhold via Grok, ville stå over for konsekvenser svarende til at uploade sådant materiale direkte til den sociale medieplatform.

Regulatorerne sagde dog, at disse skridt ikke gik langt nok.

CNBC rapporterede, at forsøg på at kontakte xAI for kommentar gav et automatisk svar med teksten: "Legacy Media lyver."