Malaysia, Indonesien blockiert Musks Grok-KI wegen expliziter Deepfake-Bilder

Malaysia und Indonesien haben den Zugang zu Elon Musks künstlicher Intelligenz-Chatbot Girok blockiert und begründen Bedenken, dass das Tool dazu verwendet wird, nicht einvernehmliche, sexuell explizite und obszöne Inhalte zu erzeugen, einschließlich Material über Frauen und Kinder.

Die koordinierte Aktion am Wochenende markiert die ersten bekannten Verbote des KI-Tools weltweit und erhöht den zunehmenden regulatorischen Druck auf xAI und seine Mutterplattform X.

Regulierungsbehörden verweisen auf Versäumnisse bei den Schutzmaßnahmen

Die malaysische Kommunikations- und Multimediakommission ordnete am Sonntag vorübergehende Beschränkungen für Grok an und verwies auf das, was sie als "wiederholte Versäumnisse von X Corp" bei der Bewältigung der Inhaltsrisiken im Zusammenhang mit dem Chatbot bezeichnete.

Die Aufsichtsbehörde erklärte, die Antworten von X seien "unzureichend" gewesen und hätten sich zu stark auf Nutzermeldungsmechanismen verlassen, anstatt strukturelle Risiken bei der Entwicklung des KI-Tools zu adressieren.

"Dementsprechend wird die Beschränkung als präventive und verhältnismäßige Maßnahme verhängt, solange rechtliche und regulatorische Verfahren laufen", sagte die Kommission.

"Der Zugang zu Grok bleibt eingeschränkt, bis wirksame Schutzmaßnahmen umgesetzt sind, insbesondere um Inhalte mit Frauen und Kindern zu verhindern."

Indonesien hatte einen Tag zuvor eine ähnliche vorübergehende Blockade verhängt.

Das Ministerium für Kommunikation und digitale Angelegenheiten teilte mit, es habe die X-Beamten gebeten, die Angelegenheit zu klären, und betonte, dass der Missbrauch von KI zur Erstellung von gefälschter Pornografie "digital basierte Gewalt" darstelle.

Ministerin Meutya Hafid sagte: "Die Regierung betrachtet nicht einvernehmliche sexuelle Deepfakes als schwerwiegende Verletzung der Menschenrechte, Würde und der Sicherheit der Bürger im digitalen Raum."

Beide Länder setzen strenge Anti-Pornografie-Gesetze durch, die die Online-Verbreitung obszöner oder sexueller Inhalte verbieten.

Vorwürfe des Missbrauchs und weltweite Beobachtung

Die Sperren folgen auf Berichte, dass Grok es Nutzern ermöglichte, nicht-einvernehmliche explizite Bilder zu erstellen und zu teilen, einschließlich sexueller Kindesmissbrauchsmaterial.

Die Internet Watch Foundation sagte NBC News, sie habe gesehen, wie Nutzer des Darknets "kriminelle Bilder" teilten, die laut ihnen mit Rok erstellt wurden und minderjährige Mädchen praktisch unbekleidet zeigten.

Wired berichtete außerdem, dass das Werkzeug verwendet wurde, um Frauen auf Fotos mit bescheidener oder religiöser Kleidung wie Hijabs, Saris und Nonnenhabiten digital auszuziehen.

Die Reichweite von Grok wurde kürzlich erweitert, nachdem xAI seine "Grok Imagine"-Funktionen aktualisiert hat, was die Bilderzeugung aus Textprompts erleichtert und das Tool tiefer mit X integriert hat.

Behörden in anderen Regionen, darunter die Europäische Union, das Vereinigte Königreich, Brasilien und Indien, haben ebenfalls Untersuchungen zu Groks Rolle bei der Ermöglichung obszöner und nicht einvernehmlicher Deepfakes eingeleitet.

In den USA haben einige demokratische Abgeordnete App-Stores aufgefordert, das KI-Tool auszusetzen, bis stärkere Schutzmaßnahmen eingeführt sind.

xAI-Antwort und Marktimplikationen

Angesichts der Gegenreaktion erklärte xAI, die Bilderzeugungs- und Bearbeitungsfunktionen auf zahlende Abonnenten zu beschränken, um Schutzlücken zu schließen.

Musk sagte auf X, dass Nutzer, die illegale Inhalte über Grok erstellen, mit Konsequenzen rechnen würden, die dem Hochladen solcher Inhalte direkt auf die soziale Medienplattform entsprechen.

Die Regulierungsbehörden erklärten jedoch, dass diese Schritte nicht weit genug gingen.

CNBC berichtete, dass Versuche, xAI um eine Stellungnahme zu bitten, automatisch eine Antwort mit den Worten "Legacy Media Lies" zurückgaben.