OpenAI identifica a los usuarios chinos que aprovechan ChatGPT para herramientas de monitoreo y creación de perfiles

OpenAI ha dicho que presuntos usuarios vinculados al gobierno chino intentaron usar ChatGPT para diseñar propuestas y materiales de marketing para herramientas de vigilancia masiva, incluidos sistemas para monitorear a los uigures y escanear las redes sociales en busca de discursos políticos o religiosos.

En un informe de inteligencia de amenazas recientemente publicado titulado "Interrupción de los usos maliciosos de nuestros modelos", OpenAI describió múltiples casos en los que cuentas vinculadas a actores afiliados al estado utilizaron sus herramientas de inteligencia artificial con fines potencialmente represivos.

La compañía dijo que los usuarios emplearon ChatGPT para redactar documentos de proyectos, depurar código y analizar datos relacionados con el seguimiento de los movimientos de las personas, los registros policiales y la actividad en línea.

Usuarios vinculados a entidades chinas

Uno de los ejemplos más llamativos involucró a un usuario de ChatGPT "probablemente conectado a una entidad gubernamental [Chinese] " que le pidió al modelo que redactara una propuesta para lo que se describió como un "Modelo de advertencia de entrada relacionada con uigures de alto riesgo".

La propuesta detallaba planes para un sistema que analizaría las reservas de transporte y las compararía con las bases de datos policiales para emitir alertas sobre el movimiento de personas categorizadas como "relacionadas con los uigures y de alto riesgo".

Otro usuario, escribiendo en chino, solicitó ayuda para diseñar materiales promocionales para una herramienta de "investigación de redes sociales" supuestamente construida para un cliente del gobierno.

Según el informe de OpenAI, la herramienta se describió como capaz de escanear plataformas como X (anteriormente Twitter), Facebook, Instagram, Reddit, TikTok y YouTube para identificar "discurso extremista" o contenido político, étnico y religioso.

OpenAI dijo que ambas cuentas fueron prohibidas una vez que la compañía detectó la actividad.

Enfatizó que no había evidencia de que los usuarios emplearan ChatGPT para llevar a cabo una vigilancia real o que las herramientas finalmente se implementaron.

Un vistazo al uso de la IA por parte de actores autoritarios

El informe enmarcó los hallazgos como una "rara instantánea" de cómo los actores autoritarios y maliciosos están comenzando a incorporar IA generativa en sus operaciones, no necesariamente para crear nuevas formas de guerra cibernética, sino para refinar las capacidades existentes en análisis de datos, propaganda y monitoreo social.

"Como escribimos en junio, la República Popular China está haciendo un progreso real en el avance de su versión autocrática de la IA", declaró la compañía en el informe.

"Nuestra interrupción de las cuentas de ChatGPT utilizadas por personas aparentemente vinculadas a entidades gubernamentales chinas arroja algo de luz sobre el estado actual del uso de la IA en este entorno autoritario".

OpenAI enfatizó que la actividad que identificó parecía ser llevada a cabo por usuarios individuales, no por operaciones institucionales a gran escala.

Sin embargo, la compañía dijo que los incidentes resaltan la necesidad de una vigilancia continua en torno a los "posibles abusos autoritarios" de la IA generativa.

La advertencia más amplia de OpenAI

OpenAI dijo que divulgó los hallazgos públicamente para alertar a los legisladores, investigadores y la industria tecnológica sobre cómo la IA puede reutilizarse para la vigilancia y la represión.

La compañía pidió un monitoreo proactivo y salvaguardas más estrictas para evitar un uso indebido similar.

"La actividad fue consistente con los usuarios individuales que usaban ChatGPT, en lugar de la adopción institucional a gran escala de nuestros modelos", señaló el informe.

"Como tal, es una instantánea limitada del uso de diferentes modelos de IA en este contexto".