OpenAI identifie les utilisateurs chinois qui exploitent ChatGPT pour la surveillance et les outils de profilage

OpenAI a déclaré que des utilisateurs suspects liés au gouvernement chinois avaient tenté d’utiliser ChatGPT pour concevoir des propositions et du matériel de marketing pour des outils de surveillance de masse, y compris des systèmes pour surveiller les Ouïghours et analyser les médias sociaux à la recherche de discours politiques ou religieux.

Dans un rapport de renseignement sur les menaces récemment publié intitulé « Disrupting Malicious Uses of Our Models », OpenAI a décrit de multiples cas dans lesquels des comptes liés à des acteurs affiliés à l’État ont utilisé ses outils d’intelligence artificielle à des fins potentiellement répressives.

La société a déclaré que les utilisateurs utilisaient ChatGPT pour rédiger des documents de projet, déboguer du code et analyser des données liées au suivi des mouvements des individus, des dossiers de police et de l’activité en ligne.

Utilisateurs liés à des entités chinoises

L’un des exemples les plus frappants concerne un utilisateur de ChatGPT « probablement lié à une entité gouvernementale [Chinese] » qui a demandé au modèle de rédiger une proposition pour ce qui a été décrit comme un « modèle d’avertissement d’afflux lié aux Ouïghours à haut risque ».

La proposition détaillait les plans d’un système qui analyserait les réservations de transport et les comparerait aux bases de données de la police afin d’émettre des alertes sur les mouvements de personnes classées comme « liées aux Ouïghours et à haut risque ».

Un autre utilisateur, écrivant en chinois, a demandé de l’aide pour concevoir du matériel promotionnel pour un outil de « sonde des médias sociaux » prétendument conçu pour un client gouvernemental.

Selon le rapport d’OpenAI, l’outil a été décrit comme capable d’analyser des plateformes telles que X (anciennement Twitter), Facebook, Instagram, Reddit, TikTok et YouTube pour identifier les « discours extrémistes » ou les contenus politiques, ethniques et religieux.

OpenAI a déclaré que les deux comptes avaient été bannis une fois que la société avait détecté l’activité.

Il a souligné qu’il n’y avait aucune preuve que les utilisateurs aient utilisé ChatGPT pour effectuer une surveillance réelle ou que les outils aient finalement été déployés.

Un aperçu de l’utilisation de l’IA par des acteurs autoritaires

Le rapport présente les résultats comme un « instantané rare » de la façon dont les acteurs autoritaires et malveillants commencent à intégrer l’IA générative dans leurs opérations, non pas nécessairement pour créer de nouvelles formes de cyberguerre, mais pour affiner les capacités existantes en matière d’analyse de données, de propagande et de surveillance sociale.

« Comme nous l’avons écrit en juin, la RPC fait de réels progrès dans la promotion de sa version autocratique de l’IA », a déclaré la société dans le rapport.

« Notre perturbation des comptes ChatGPT utilisés par des individus apparemment liés à des entités gouvernementales chinoises met en lumière l’état actuel de l’utilisation de l’IA dans ce cadre autoritaire. »

OpenAI a souligné que l’activité identifiée semblait être menée par des utilisateurs individuels, et non par des opérations institutionnelles à grande échelle.

Cependant, la société a déclaré que les incidents soulignent la nécessité d’une vigilance continue autour des « abus autoritaires potentiels » de l’IA générative.

L’avertissement plus large d’OpenAI

OpenAI a déclaré avoir divulgué publiquement les résultats pour alerter les décideurs politiques, les chercheurs et l’industrie technologique sur la façon dont l’IA peut être réutilisée à des fins de surveillance et de répression.

L’entreprise a appelé à une surveillance proactive et à des mesures de protection plus strictes pour éviter une utilisation abusive similaire.

« L’activité était cohérente avec l’utilisation de ChatGPT par les utilisateurs individuels, plutôt qu’avec l’adoption institutionnelle à grande échelle de nos modèles », note le rapport.

« En tant que tel, il s’agit d’un aperçu limité de l’utilisation des différents modèles d’IA dans ce contexte. »