Malezja i Indonezja blokują Grok AI Muska z powodu jawnych deepfake'ów

Malezja i Indonezja zablokowały dostęp do chatbota Grok należącego do sztucznej inteligencji Elona Muska, powołując się na obawy, że narzędzie to jest wykorzystywane do generowania treści niezgodnych z zgody, seksualnie explicitnych i obscenicznych, w tym materiałów dotyczących kobiet i dzieci.

Skoordynowane działania w weekend oznaczają pierwsze znane zakazy tego narzędzia AI na świecie i przyczyniają się do rosnącej presji regulacyjnej na xAI oraz jego platformę macierzystą, X.

Regulatorzy wskazują na zaniedbania zabezpieczeń

Komisja ds. Komunikacji i Multimediów Malezji nałożyła w niedzielę tymczasowe ograniczenia wobec Groka, wskazując na to, co opisała jako "powtarzające się niepowodzenia firmy X" w zwalczaniu ryzyka związanego z treścią związanym z chatbotem.

Regulator stwierdził, że odpowiedzi X były "niewystarczające" i zbyt mocno opierały się na mechanizmach zgłaszania przez użytkowników, zamiast na zajęciu się ryzykiem strukturalnym w projektowaniu narzędzia AI.

"W związku z tym ograniczenie jest nakładane jako środek zapobiegawczy i proporcjonalny podczas trwania procesów prawnych i regulacyjnych" – poinformowała komisja.

"Dostęp do Grok pozostanie ograniczony, dopóki nie zostaną wdrożone skuteczne zabezpieczenia, szczególnie mające na celu zapobieganie treściom dotyczącym kobiet i dzieci."

Indonezja nałożyła podobny tymczasowy blok dzień wcześniej.

Ministerstwo Komunikacji i Spraw Cyfrowych poinformowało, że poprosiło przedstawicieli X o wyjaśnienie sprawy, podkreślając, że nadużycie AI do generowania fałszywej pornografii stanowi "przemoc cyfrową".

Minister Meutya Hafid powiedział: "Rząd postrzega niezgodne z zgodą seksualne deepfake'i jako poważne naruszenie praw człowieka, godności i bezpieczeństwa obywateli w przestrzeni cyfrowej."

Oba kraje egzekwują surowe przepisy antypornograficzne, które zakazują dystrybucji materiałów obscenicznych lub seksualnych online.

Zarzuty nadużyć i globalna kontrola

Bany te powstały po doniesieniach, że Grok umożliwił użytkownikom generowanie i udostępnianie niezgodnych z konsensualną obraźnią obrazów, w tym materiałów dotyczących wykorzystywania seksualnego dzieci.

Internet Watch Foundation powiedziała NBC News, że widziała użytkowników dark webu, którzy udostępniali "kryminalne obrazy", które według nich zostały stworzone przy użyciu Groka, przedstawiające nieletnie dziewczyny praktycznie rozebrane.

Wired donosił również, że narzędzie to było używane do cyfrowego rozbierania kobiet na zdjęciach ubranych w skromne lub religijne ubrania, takie jak hidżaby, sari czy habity zakonnic.

Zasięg Grok zwiększył się niedawno po aktualizacji funkcji "Grok Imagine" przez xAI, co ułatwiło generowanie obrazów na podstawie promptów tekstowych i integrowało narzędzie z X.

Władze w innych regionach, w tym w Unii Europejskiej, Wielkiej Brytanii, Brazylii i Indiach, również rozpoczęły dochodzenia dotyczące roli Groka w ułatwianiu obscenicznych i niekonsensualnych deepfake'ów.

W USA niektórzy demokratyczni ustawodawcy apelowali do sklepów z aplikacjami o zawieszenie narzędzia AI do czasu wprowadzenia silniejszych zabezpieczeń.

reakcja xAI i implikacje rynkowe

W obliczu krytyki xAI ogłosiło, że ograniczy generowanie i edycję obrazów do płatnych subskrybentów, aby zmniejszyć luki w zabezpieczeniach.

Musk powiedział na X, że użytkownicy tworzący nielegalne treści za pośrednictwem Grok poniosą konsekwencje porównywalne z bezpośrednim przesyłaniem takich materiałów na platformę społecznościowych.

Jednak regulatorzy twierdzili, że te kroki nie były wystarczająco szerokie.

CNBC podało, że próby kontaktu z xAI w celu uzyskania komentarza kończyły się automatyczną odpowiedzią z treścią: "Kłamstwa Legacy Media."