Malaysia og Indonesia blokkerer Musks Grok AI på grunn av eksplisitte deepfake-bilder

Malaysia og Indonesia har blokkert tilgangen til Elon Musks kunstig intelligens-chatbot Grok, med henvisning til bekymring for at verktøyet brukes til å generere ikke-samtykkende, seksuelt eksplisitt og obskønt innhold, inkludert materiale som involverer kvinner og barn.

Den koordinerte aksjonen i helgen markerer de første kjente forbudene mot AI-verktøyet globalt og øker det økende regulatoriske presset på xAI og moderplattformen, X.

Regulatorer peker på svikt i sikkerhetstiltakene

Malaysias kommunikasjons- og multimediekommisjon beordret på søndag midlertidige restriksjoner på Grok, og pekte på det de beskrev som «gjentatte feil fra X Corps side» med å håndtere innholdsrisikoer knyttet til chatboten.

Regulatoren sa at X sine svar var «utilstrekkelige» og bygde for mye på brukerrapporteringsmekanismer i stedet for å adressere strukturelle risikoer i utformingen av AI-verktøyet.

«Følgelig innføres restriksjonen som et forebyggende og proporsjonalt tiltak mens juridiske og regulatoriske prosesser pågår,» sa kommisjonen.

"Tilgangen til Grok vil forbli begrenset inntil effektive sikkerhetsmekanismer er innført, særlig for å forhindre innhold som involverer kvinner og barn."

Indonesia innførte en lignende midlertidig sperre dagen før.

Deres kommunikasjons- og digitaldepartement sa at de hadde bedt X-tjenestemenn om å oppklare saken, og understreket at misbruk av AI til å lage falsk pornografi utgjør «digitalbasert vold».

Minister Meutya Hafid sa: «Regjeringen ser på ikke-samtykkende seksuelle deepfakes som et alvorlig brudd på menneskerettigheter, verdighet og borgernes sikkerhet i det digitale rommet.»

Begge landene håndhever strenge anti-pornografi-lover, som forbyr distribusjon av obskønt eller seksuelt materiale på nettet.

Anklager om misbruk og global gransking

Forbudene følger rapporter om at Grok gjorde det mulig for brukere å generere og dele ikke-samtykkende eksplisitte bilder, inkludert materiale om seksuelle overgrep mot barn.

Internet Watch Foundation fortalte NBC News at de hadde sett brukere på dark web dele «kriminelle bilder» de mente var laget med Grok, som viste mindreårige jenter nærmest nakne.

Wired rapporterte også at verktøyet hadde blitt brukt til å digitalt kle av kvinner på bilder iført beskjedne eller religiøse klær som hijab, sarier og nonnedrakter.

Groks rekkevidde ble nylig utvidet etter at xAI oppdaterte sine "Grok Imagine"-funksjoner, noe som gjorde bildegenerering fra tekstprompts enklere og integrerte verktøyet dypere med X.

Myndigheter i andre regioner, inkludert EU, Storbritannia, Brasil og India, har også igangsatt undersøkelser av Groks rolle i å legge til rette for obskøne og ikke-samtykkende deepfakes.

I USA har noen demokratiske lovgivere oppfordret app-butikker til å suspendere AI-verktøyet inntil sterkere sikkerhetsmekanismer er på plass.

xAI-respons og markedsimplikasjoner

Midt i motreaksjonen sa xAI at de ville begrense bildegenererings- og redigeringsfunksjoner til betalende abonnenter i et forsøk på å tette sikkerhetsgap.

Musk sa på X at brukere som lager ulovlig innhold via Grok vil få konsekvenser tilsvarende å laste opp slikt materiale direkte til sosiale medieplattformer.

Regulatorene sa imidlertid at disse tiltakene ikke gikk langt nok.

CNBC rapporterte at forsøk på å kontakte xAI for kommentar ga et automatisk svar som sa: «Legacy Media lyver.»