OpenAI identifiserer kinesiske brukere som utnytter ChatGPT for overvåking, profileringsverktøy

OpenAI har sagt at mistenkte kinesiske regjeringstilknyttede brukere forsøkte å bruke ChatGPT til å designe forslag og markedsføringsmateriell for masseovervåkingsverktøy, inkludert systemer for å overvåke uigurer og skanne sosiale medier for politiske eller religiøse ytringer.

I en nylig utgitt trusseletterretningsrapport med tittelen «Disrupting Malicious Uses of Our Models», skisserte OpenAI flere tilfeller der kontoer knyttet til statstilknyttede aktører brukte deres kunstige intelligensverktøy til potensielt undertrykkende formål.

Selskapet sa at brukerne brukte ChatGPT til å utarbeide prosjektdokumenter, feilsøke kode og analysere data relatert til sporing av enkeltpersoners bevegelser, politiregistre og nettaktivitet.

Brukere knyttet til kinesiske enheter

Et av de mest slående eksemplene involverte en ChatGPT-bruker «sannsynligvis koblet til en [Chinese] statlig enhet» som ba modellen om å utarbeide et forslag til det som ble beskrevet som en «høyrisiko uigur-relatert tilstrømningsvarslingsmodell».

Forslaget detaljerte planer for et system som skulle analysere transportbestillinger og sammenligne dem med politiets databaser for å utstede varsler om bevegelser av mennesker kategorisert som «uigur-relatert og høyrisiko».

En annen bruker, som skrev på kinesisk, ba om hjelp til å designe reklamemateriell for et «sosiale medier»-verktøy som angivelig ble bygget for en offentlig klient.

I følge OpenAIs rapport ble verktøyet beskrevet som i stand til å skanne plattformer som X (tidligere Twitter), Facebook, Instagram, Reddit, TikTok og YouTube for å identifisere "ekstremistisk tale" eller politisk, etnisk og religiøst innhold.

OpenAI sa at begge kontoene ble utestengt når selskapet oppdaget aktiviteten.

Den understreket at det ikke var bevis for at brukerne brukte ChatGPT for å utføre faktisk overvåking eller at verktøyene til slutt ble distribuert.

Et innblikk i AI-bruk av autoritære aktører

Rapporten rammet inn funnene som et «sjeldent øyeblikksbilde» av hvordan autoritære og ondsinnede aktører begynner å inkorporere generativ AI i sine operasjoner – ikke nødvendigvis for å skape nye former for cyberkrigføring, men for å avgrense eksisterende evner innen dataanalyse, propaganda og sosial overvåking.

"Som vi skrev i juni, gjør Kina reelle fremskritt i å fremme sin autokratiske versjon av AI," uttalte selskapet i rapporten.

"Vår forstyrrelse av ChatGPT-kontoer som brukes av enkeltpersoner som tilsynelatende er knyttet til kinesiske offentlige enheter, kaster lys over den nåværende tilstanden til AI-bruk i denne autoritære settingen."

OpenAI understreket at aktiviteten den identifiserte så ut til å bli utført av individuelle brukere, ikke storskala institusjonelle operasjoner.

Selskapet sa imidlertid at hendelsene fremhever behovet for fortsatt årvåkenhet rundt "potensielle autoritære overgrep" av generativ AI.

OpenAIs bredere advarsel

OpenAI sa at de avslørte funnene offentlig for å varsle beslutningstakere, forskere og teknologiindustrien om hvordan AI kan brukes til overvåking og undertrykkelse.

Selskapet ba om proaktiv overvåking og strengere sikkerhetstiltak for å forhindre lignende misbruk.

"Aktiviteten var i samsvar med individuelle brukere som brukte ChatGPT, i stedet for storstilt, institusjonell adopsjon av modellene våre," bemerket rapporten.

"Som sådan er det et begrenset øyeblikksbilde av bruken av forskjellige AI-modeller i denne sammenhengen."