X möter ny granskning i Japan när Grok deepfake-oro sprider sig över hela världen

Japan har anslutit sig till en växande lista av länder som granskar X på grund av Elon Musks artificiella intelligenstjänst Grok och oro för att chattboten kan användas för att skapa och sprida sexualiserade bilder av människor utan deras samtycke.

Utvecklingen ökar trycket på sociala medieplattformar när tillsynsmyndigheter världen över skärper kontrollen av AI-verktyg som kan kränka integritets- och bildrättigheter.

Japans drag kommer efter att Grok väckte motreaktioner denna månad för hur lätt det kunde användas för att manipulera bilder för att sexualisera eller förnedra individer. Även om restriktioner har införts, säger tjänstemän att risken inte har begränsats helt.

Enligt Bloomberg har Cabinet Office bett X att förbättra skyddsåtgärderna och begränsa produktionen av sexuellt förändrade bilder skapade genom Grok, sade minister för ekonomisk säkerhet Kimi Onoda.

Tjänstemän lämnade också skriftliga frågor om vilka åtgärder X har för att förhindra deepfakes och andra bilder som kränker människors integritet, immateriella rättigheter och rätten att kontrollera användningen av deras avbild, tillade hon.

Cabinet Office driver på för att X ska stärka Groks skyddsåtgärder

Onoda sade att regeringen söker tydligare svar på hur X planerar att stoppa skapandet av skadliga manipulerade bilder, inklusive icke-samtyckta sexualiserade deepfakes.

Japans kabinettkontor undersöker också om plattformens nuvarande åtgärder är tillräckligt effektiva för att förhindra missbruk, särskilt i takt med att verktygen blir mer tillgängliga och svårare att upptäcka.

Grok fick hård kritik denna månad från användare och regeringar, från Malaysia till Italien, för hur enkelt det kunde användas för att manipulera bilder.

Sedan dess har Grok infört vissa begränsningar på sina bildgenereringsmöjligheter och satt dem bakom en betalvägg.

Japan varnar för att rättsliga åtgärder fortfarande är möjliga

Japans ingripande har åtföljts av en varning om att starkare åtgärder är möjliga om problemet fortsätter. Vid en presskonferens på fredagen sade Onoda att alla alternativ fortfarande finns om X inte förbättrar skyddsåtgärderna.

Hon sade att regeringen är beredd att överväga rättsliga åtgärder om det inte sker någon förbättring.

Onoda signalerade också att Japan kan vidta liknande åtgärder mot andra plattformar om samma typ av problem uppstår på andra håll, vilket indikerar att tillsynsmyndigheter bevakar den bredare AI-marknaden, inte bara Grok.

Tidigare denna vecka meddelade xAI, företaget bakom Grok, att de inaktiverar möjligheten för användare att generera sexualiserade bilder av verkliga personer med hjälp av chattboten.

Ändå sade Onoda att den fortsatta möjligheten att skapa sådant innehåll fortfarande är en oro och kan kräva ytterligare åtgärder.

Globala undersökningar vidgas när länder skärper tillgången

Japans drag kommer samtidigt som utredningarna utökar sig över flera jurisdiktioner.

Kanada, Kalifornien, Europeiska unionen och enskilda EU-medlemsstater som Frankrike undersöker om Groks genererade bilder kränker människors rättigheter.

I delar av Sydostasien har myndigheterna valt en mer direkt väg genom att begränsa tillträdet.

Malaysia, Indonesien och Filippinerna har begränsat inhemsk tillgång till Grok, vilket speglar växande oro över hur snabbt AI-genererat innehåll kan spridas och hur svårt det kan vara att kontrollera när det väl är skapat.

Frågan har satt X och xAI under förnyad uppmärksamhet i en tid då regeringar alltmer fokuserar på att reglera AI-verktyg som kan sudda ut gränsen mellan verkliga och syntetiska medier.

Japans AI-lagstiftning begränsar verkställighetens makt

Japan försöker balansera striktare kontroller med sin ambition att komma ikapp USA och Kina inom AI, ett område de ser som viktigt för nationell strategi.

Dock kan dess nuvarande ramverk begränsa hur aggressivt den kan svara.

Japans AI-lag, som trädde i kraft i september, innebär inga påföljder.

Detta begränsar statlig inblandning till stor del till utredningar och att utfärda formella riktlinjer när överträdelser sker, snarare än att införa direkta sanktioner.

Diskussioner bland japanska beslutsfattare har fokuserat på åtgärder som att utbilda användare och kräva att AI-tjänster visar när bilder har manipulerats.

Enligt Bloomberg söker Cabinet Office också samordna möjliga steg med justitiedepartementet, National Police Agency och kommunikationsministeriet.