OpenAI identificerer kinesiske brugere, der udnytter ChatGPT til overvågning, profileringsværktøjer

OpenAI har sagt, at mistænkte kinesiske regeringstilknyttede brugere forsøgte at bruge ChatGPT til at designe forslag og markedsføringsmateriale til masseovervågningsværktøjer, herunder systemer til at overvåge uighurer og scanne sociale medier for politiske eller religiøse ytringer.

I en nyligt udgivet trusselsefterretningsrapport med titlen "Disrupting Malicious Uses of Our Models" skitserede OpenAI flere tilfælde, hvor konti knyttet til statstilknyttede aktører brugte dets kunstige intelligensværktøjer til potentielt undertrykkende formål.

Virksomheden sagde, at brugerne brugte ChatGPT til at udarbejde projektdokumenter, fejlfinde kode og analysere data relateret til sporing af enkeltpersoners bevægelser, politiregistre og onlineaktivitet.

Brugere, der er knyttet til kinesiske enheder

Et af de mest slående eksempler involverede en ChatGPT-bruger, der "sandsynligvis er forbundet med en [Chinese] statslig enhed", som bad modellen om at udarbejde et forslag til, hvad der blev beskrevet som en "højrisiko-uighur-relateret tilstrømningsadvarselsmodel."

Forslaget beskrev detaljerede planer for et system, der ville analysere transportreservationer og sammenligne dem med politiets databaser for at udsende advarsler om bevægelsen af mennesker, der er kategoriseret som "uighur-relaterede og højrisiko".

En anden bruger, der skrev på kinesisk, bad om hjælp til at designe reklamemateriale til et "social media probe"-værktøj, der angiveligt blev bygget til en regeringsklient.

Ifølge OpenAI's rapport blev værktøjet beskrevet som værende i stand til at scanne platforme som X (tidligere Twitter), Facebook, Instagram, Reddit, TikTok og YouTube for at identificere "ekstremistisk tale" eller politisk, etnisk og religiøst indhold.

OpenAI sagde, at begge konti blev forbudt, da virksomheden opdagede aktiviteten.

Den understregede, at der ikke var beviser for, at brugerne brugte ChatGPT til at udføre egentlig overvågning, eller at værktøjerne i sidste ende blev implementeret.

Et indblik i autoritære aktørers brug af kunstig intelligens

Rapporten indrammede resultaterne som et "sjældent øjebliksbillede" af, hvordan autoritære og ondsindede aktører begynder at inkorporere generativ AI i deres operationer – ikke nødvendigvis for at skabe nye former for cyberkrigsførelse, men for at forfine eksisterende kapaciteter inden for dataanalyse, propaganda og social overvågning.

"Som vi skrev i juni, gør Kina reelle fremskridt med at fremme sin autokratiske version af AI," udtalte virksomheden i rapporten.

"Vores afbrydelse af ChatGPT-konti, der bruges af personer, der tilsyneladende er knyttet til kinesiske regeringsenheder, kaster lys over den nuværende tilstand af AI-brug i disse autoritære omgivelser."

OpenAI understregede, at den aktivitet, den identificerede, så ud til at blive udført af individuelle brugere, ikke storstilede institutionelle operationer.

Virksomheden sagde dog, at hændelserne understreger behovet for fortsat årvågenhed omkring "potentielle autoritære misbrug" af generativ AI.

OpenAI's bredere advarsel

OpenAI sagde, at det offentliggjorde resultaterne for at advare politiske beslutningstagere, forskere og teknologiindustrien om, hvordan AI kan genbruges til overvågning og undertrykkelse.

Virksomheden opfordrede til proaktiv overvågning og strammere sikkerhedsforanstaltninger for at forhindre lignende misbrug.

"Aktiviteten var i overensstemmelse med individuelle brugere, der brugte ChatGPT, snarere end storstilet, institutionel vedtagelse af vores modeller," bemærkede rapporten.

"Som sådan er det et begrænset øjebliksbillede af brugen af forskellige AI-modeller i denne sammenhæng."