OpenAI identifiziert chinesische Nutzer, die ChatGPT für Überwachungs- und Profiling-Tools nutzen

OpenAI hat erklärt, dass mutmaßliche Nutzer, die mit der chinesischen Regierung in Verbindung stehen, versucht haben, ChatGPT zu nutzen, um Vorschläge und Marketingmaterialien für Massenüberwachungstools zu entwerfen, einschließlich Systemen zur Überwachung von Uiguren und zum Scannen sozialer Medien nach politischen oder religiösen Äußerungen.

In einem kürzlich veröffentlichten Threat-Intelligence-Bericht mit dem Titel "Disrupting Malicious Uses of Our Models" skizzierte OpenAI mehrere Fälle, in denen Konten, die mit staatsnahen Akteuren verbunden sind, seine Tools für künstliche Intelligenz für potenziell repressive Zwecke nutzten.

Das Unternehmen sagte, dass die Nutzer ChatGPT einsetzten, um Projektdokumente zu erstellen, Code zu debuggen und Daten im Zusammenhang mit der Verfolgung von Personenbewegungen, Polizeiakten und Online-Aktivitäten zu analysieren.

Benutzer, die mit chinesischen Unternehmen verknüpft sind

Eines der auffälligsten Beispiele betraf einen ChatGPT-Nutzer, der "wahrscheinlich mit einer [Chinese] Regierungsbehörde verbunden ist", der das Modell bat, einen Vorschlag für ein "Warnmodell für uigurischen Zustrom mit hohem Risiko" zu entwerfen.

Der Vorschlag enthält detaillierte Pläne für ein System, das Transportbuchungen analysiert und mit Polizeidatenbanken abgleicht, um Warnungen über die Bewegung von Personen auszugeben, die als "uigurisch und risikoreich" eingestuft werden.

Ein anderer Nutzer, der auf Chinesisch schrieb, bat um Hilfe bei der Erstellung von Werbematerialien für ein "Social-Media-Sonden"-Tool, das angeblich für einen Regierungskunden entwickelt wurde.

Dem Bericht von OpenAI zufolge wurde das Tool als in der Lage beschrieben, Plattformen wie X (ehemals Twitter), Facebook, Instagram, Reddit, TikTok und YouTube zu scannen, um "extremistische Äußerungen" oder politische, ethnische und religiöse Inhalte zu identifizieren.

OpenAI sagte, dass beide Konten gesperrt wurden, nachdem das Unternehmen die Aktivität entdeckt hatte.

Er betonte, dass es keine Beweise dafür gebe, dass die Nutzer ChatGPT zur tatsächlichen Überwachung eingesetzt hätten oder dass die Tools letztendlich eingesetzt worden seien.

Ein Einblick in die KI-Nutzung durch autoritäre Akteure

Der Bericht bezeichnete die Ergebnisse als eine "seltene Momentaufnahme" davon, wie autoritäre und böswillige Akteure beginnen, generative KI in ihre Operationen zu integrieren – nicht unbedingt, um neue Formen der Cyberkriegsführung zu schaffen, sondern um bestehende Fähigkeiten in den Bereichen Datenanalyse, Propaganda und soziale Überwachung zu verfeinern.

"Wie wir im Juni geschrieben haben, macht die VR China echte Fortschritte bei der Weiterentwicklung ihrer autokratischen Version der KI", erklärte das Unternehmen in dem Bericht.

"Unsere Störung von ChatGPT-Konten, die von Personen genutzt werden, die offenbar mit chinesischen Regierungsstellen in Verbindung stehen, wirft ein Licht auf den aktuellen Stand der KI-Nutzung in diesem autoritären Umfeld."

OpenAI betonte, dass die von ihm identifizierten Aktivitäten anscheinend von einzelnen Nutzern und nicht von groß angelegten institutionellen Operationen durchgeführt wurden.

Das Unternehmen sagte jedoch, dass die Vorfälle die Notwendigkeit einer kontinuierlichen Wachsamkeit gegenüber "potenziellem autoritärem Missbrauch" der generativen KI unterstreichen.

Die umfassendere Warnung von OpenAI

OpenAI sagte, es habe die Ergebnisse öffentlich gemacht, um politische Entscheidungsträger, Forscher und die Technologiebranche darauf aufmerksam zu machen, wie KI für Überwachung und Unterdrückung umfunktioniert werden kann.

Das Unternehmen forderte eine proaktive Überwachung und strengere Sicherheitsvorkehrungen, um ähnlichen Missbrauch zu verhindern.

"Die Aktivität stimmte mit einzelnen Nutzern überein, die ChatGPT verwendeten, und nicht mit einer groß angelegten, institutionellen Einführung unserer Modelle", heißt es in dem Bericht.

"Als solches ist es eine begrenzte Momentaufnahme der Nutzung verschiedener KI-Modelle in diesem Zusammenhang."