OpenAI identificeert Chinese gebruikers die ChatGPT gebruiken voor monitoring- en profileringstools

OpenAI heeft gezegd dat vermoedelijke aan de Chinese overheid gelieerde gebruikers probeerden ChatGPT te gebruiken om voorstellen en marketingmateriaal te ontwerpen voor massasurveillancetools, waaronder systemen om Oeigoeren te volgen en sociale media te scannen op politieke of religieuze uitspraken.

In een onlangs uitgebracht rapport over bedreigingsinformatie met de titel "Disrupting Malicious Uses of Our Models", schetste OpenAI meerdere gevallen waarin accounts die verbonden waren aan aan de staat gelieerde actoren zijn kunstmatige-intelligentietools gebruikten voor mogelijk repressieve doeleinden.

Het bedrijf zei dat de gebruikers ChatGPT gebruikten om projectdocumenten op te stellen, code te debuggen en gegevens te analyseren met betrekking tot het volgen van de bewegingen van individuen, politiedossiers en online activiteiten.

Gebruikers die gelinkt zijn aan Chinese entiteiten

Een van de meest opvallende voorbeelden betrof een ChatGPT-gebruiker "waarschijnlijk verbonden met een [Chinese] overheidsinstantie" die het model vroeg een voorstel op te stellen voor wat werd beschreven als een "High-Risk Oeigoers-Related Inflow Warning Model".

Het voorstel beschrijft gedetailleerde plannen voor een systeem dat transportboekingen zou analyseren en deze zou vergelijken met politiedatabases om waarschuwingen te geven over de bewegingen van mensen die zijn gecategoriseerd als "Oeigoerse gerelateerd en risicovol".

Een andere gebruiker, die in het Chinees schreef, vroeg om hulp bij het ontwerpen van promotiemateriaal voor een "social media probe" -tool die naar verluidt was gebouwd voor een overheidsklant.

Volgens het rapport van OpenAI werd de tool beschreven als in staat om platforms zoals X (voorheen Twitter), Facebook, Instagram, Reddit, TikTok en YouTube te scannen om "extremistische spraak" of politieke, etnische en religieuze inhoud te identificeren.

OpenAI zei dat beide accounts werden verbannen zodra het bedrijf de activiteit ontdekte.

Het benadrukte dat er geen bewijs was dat de gebruikers ChatGPT gebruikten om daadwerkelijk toezicht uit te voeren of dat de tools uiteindelijk werden ingezet.

Een blik op het gebruik van AI door autoritaire actoren

Het rapport formuleerde de bevindingen als een "zeldzame momentopname" van hoe autoritaire en kwaadwillende actoren generatieve AI in hun operaties beginnen op te nemen - niet noodzakelijkerwijs om nieuwe vormen van cyberoorlogvoering te creëren, maar om bestaande mogelijkheden op het gebied van data-analyse, propaganda en sociale monitoring te verfijnen.

"Zoals we in juni schreven, boekt de VRC echte vooruitgang bij het bevorderen van zijn autocratische versie van AI", aldus het bedrijf in het rapport.

"Onze verstoring van ChatGPT-accounts die worden gebruikt door personen die blijkbaar banden hebben met Chinese overheidsinstanties, werpt enig licht op de huidige staat van AI-gebruik in deze autoritaire omgeving."

OpenAI benadrukte dat de activiteit die het identificeerde, leek te worden uitgevoerd door individuele gebruikers, niet door grootschalige institutionele operaties.

Het bedrijf zei echter dat de incidenten de noodzaak benadrukken van voortdurende waakzaamheid rond "mogelijk autoritair misbruik" van generatieve AI.

De bredere waarschuwing van OpenAI

OpenAI zei dat het de bevindingen openbaar heeft gemaakt om beleidsmakers, onderzoekers en de technische industrie te waarschuwen voor hoe AI kan worden hergebruikt voor surveillance en repressie.

Het bedrijf riep op tot proactief toezicht en strengere waarborgen om soortgelijk misbruik te voorkomen.

"De activiteit kwam overeen met individuele gebruikers die ChatGPT gebruikten, in plaats van grootschalige, institutionele acceptatie van onze modellen", aldus het rapport.

"Het is daarmee een beperkte momentopname van het gebruik van verschillende AI-modellen in deze context."