OpenAI identifierar kinesiska användare som använder ChatGPT för övervaknings- och profileringsverktyg

OpenAI har sagt att misstänkta användare med kopplingar till den kinesiska regeringen försökte använda ChatGPT för att utforma förslag och marknadsföringsmaterial för massövervakningsverktyg, inklusive system för att övervaka uigurer och skanna sociala medier efter politiska eller religiösa uttalanden.

I en nyligen släppt hotintelligensrapport med titeln "Disrupting Malicious Uses of Our Models" beskrev OpenAI flera fall där konton knutna till statliga aktörer använde sina verktyg för artificiell intelligens för potentiellt repressiva ändamål.

Företaget sa att användarna använde ChatGPT för att utarbeta projektdokument, felsöka kod och analysera data relaterade till att spåra individers rörelser, polisregister och onlineaktivitet.

Användare kopplade till kinesiska enheter

Ett av de mest slående exemplen involverade en ChatGPT-användare "som sannolikt är kopplad till en [Chinese] statlig enhet" som bad modellen att utarbeta ett förslag till vad som beskrevs som en "högriskmodell för inflödesvarning för uigurer".

Förslaget innehåller detaljerade planer för ett system som skulle analysera transportbokningar och jämföra dem med polisens databaser för att utfärda varningar om rörelser för personer som kategoriseras som "uigurrelaterade och högriskpersoner".

En annan användare, som skrev på kinesiska, bad om hjälp med att utforma reklammaterial för ett "verktyg för undersökning av sociala medier" som påstods vara byggt för en statlig klient.

Enligt OpenAI:s rapport beskrevs verktyget som kapabelt att skanna plattformar som X (tidigare Twitter), Facebook, Instagram, Reddit, TikTok och YouTube för att identifiera "extremistiskt tal" eller politiskt, etniskt och religiöst innehåll.

OpenAI sa att båda kontona förbjöds när företaget upptäckte aktiviteten.

Den betonade att det inte fanns några bevis för att användarna använde ChatGPT för att utföra faktisk övervakning eller att verktygen slutligen användes.

En inblick i AI-användning av auktoritära aktörer

Rapporten framställde resultaten som en "sällsynt ögonblicksbild" av hur auktoritära och illvilliga aktörer börjar införliva generativ AI i sin verksamhet – inte nödvändigtvis för att skapa nya former av cyberkrigföring, utan för att förfina befintliga funktioner inom dataanalys, propaganda och social övervakning.

"Som vi skrev i juni gör Kina verkliga framsteg när det gäller att utveckla sin autokratiska version av AI", uppgav företaget i rapporten.

"Vår störning av ChatGPT-konton som används av individer som uppenbarligen är kopplade till kinesiska statliga enheter kastar lite ljus över det nuvarande tillståndet för AI-användning i denna auktoritära miljö."

OpenAI betonade att den aktivitet som identifierades verkade utföras av enskilda användare, inte storskalig institutionell verksamhet.

Företaget sa dock att incidenterna belyser behovet av fortsatt vaksamhet kring "potentiellt auktoritärt missbruk" av generativ AI.

OpenAI:s bredare varning

OpenAI sa att de avslöjade resultaten offentligt för att varna beslutsfattare, forskare och teknikindustrin om hur AI kan användas för övervakning och förtryck.

Företaget efterlyste proaktiv övervakning och strängare skyddsåtgärder för att förhindra liknande missbruk.

"Aktiviteten var förenlig med att enskilda användare använde ChatGPT, snarare än ett storskaligt, institutionellt antagande av våra modeller", noterade rapporten.

"Som sådan är det en begränsad ögonblicksbild av användningen av olika AI-modeller i det här sammanhanget."