Maleisië en Indonesië blokkeren Musk's Grok AI vanwege expliciete deepfake-afbeeldingen

Maleisië en Indonesië hebben de toegang tot Elon Musks kunstmatige intelligentie-chatbot Rok geblokkeerd, met het argument dat het hulpmiddel wordt gebruikt om niet-consensuele, seksueel expliciete en obscene inhoud te genereren, waaronder materiaal over vrouwen en kinderen.

De gecoördineerde actie van het weekend markeert de eerste bekende verboden van de AI-tool wereldwijd en draagt bij aan de groeiende druk op xAI en het moederplatform X.

Toezichthouders wijzen op tekortkomingen in waarborgen

De Maleisische Commissie voor Communicatie en Multimedia heeft zondag tijdelijke beperkingen opgelegd voor Grok, waarbij ze wees op wat zij omschreef als "herhaalde tekortkomingen van X Corp" om inhoudsrisico's van de chatbot aan te pakken.

De toezichthouder zei dat de antwoorden van X "onvoldoende" waren en te veel vertrouwden op gebruikersrapportagemechanismen in plaats van structurele risico's in het ontwerp van de AI-tool aan te pakken.

"Daarom wordt de beperking opgelegd als een preventieve en proportionele maatregel terwijl de juridische en regelgevende processen gaande zijn," aldus de commissie.

"De toegang tot Grok blijft beperkt totdat effectieve waarborgen worden ingevoerd, met name om inhoud met vrouwen en kinderen te voorkomen."

Indonesië had een dag eerder een soortgelijke tijdelijke blokkade opgelegd.

Het ministerie van Communicatie en Digitale Zaken zei dat het X-functionarissen had gevraagd de zaak te verduidelijken, en benadrukte dat misbruik van AI om nepporno te maken "digitaal geweld" vormt.

Minister Meutya Hafid zei: "De regering beschouwt niet-consensuele seksuele deepfakes als een ernstige schending van mensenrechten, waardigheid en de veiligheid van burgers in de digitale ruimte."

Beide landen handhaven strikte anti-pornowetten, die de online verspreiding van obsceen of seksueel materiaal verbieden.

Beschuldigingen van misbruik en wereldwijde controle

De bans volgen op berichten dat Grok gebruikers in staat stelde niet-consensuele expliciete afbeeldingen te genereren en te delen, waaronder materiaal over seksueel misbruik van kinderen.

De Internet Watch Foundation vertelde NBC News dat ze darkwebgebruikers "criminele beelden" had zien delen waarvan ze zeiden dat ze waren gemaakt met Grok, waarbij minderjarige meisjes vrijwel ontkleed werden getoond.

Wired meldde ook dat het hulpmiddel was gebruikt om vrouwen digitaal uit te kleden op foto's die bescheiden of religieuze kleding droegen, zoals hijabs, sari's en nonnenkluisten.

Het bereik van Rok is onlangs uitgebreid nadat xAI zijn "Grok Imagine"-functies heeft bijgewerkt, waardoor beeldgeneratie uit tekstprompts eenvoudiger wordt en de tool dieper wordt geïntegreerd met X.

Autoriteiten in andere regio's, waaronder de Europese Unie, het Verenigd Koninkrijk, Brazilië en India, zijn ook onderzoeken gestart naar Groks rol bij het faciliteren van obscene en niet-consensuele deepfakes.

In de VS hebben sommige Democratische wetgevers appwinkels opgeroepen het AI-instrument op te schorten totdat strengere waarborgen zijn ingevoerd.

xAI-respons en marktimplicaties

Te midden van de tegenreactie zei xAI dat het de functies voor beeldgeneratie en bewerking zou beperken tot betalende abonnees om de beveiligingsgaten te dichten.

Musk zei op X dat gebruikers die illegale inhoud via Grok maken, gevolgen ondervinden die gelijk zijn aan het direct uploaden van dergelijk materiaal naar het sociale mediaplatform.

Toezichthouders zeiden echter dat die stappen niet ver genoeg gingen.

CNBC meldde dat pogingen om xAI te bereiken voor commentaar automatisch een antwoord opleverden met de tekst: "Legacy Media liegt."