Meta-toezichtraad signaleert politieke bias in grote AI-modellen

Modellen voor kunstmatige intelligentie die door toonaangevende bedrijven zijn ontwikkeld, waaronder Anthropic en OpenAI, zijn aanzienlijk minder geneigd om politiek-kritische inhoud te genereren over regeringen die bekendstaan om het beperken van de vrije meningsuiting, volgens een nieuwe studie die donderdag door de Oversight Board van Meta is gepubliceerd.

De raad zei dat de bevindingen suggereren dat grote taalmodellen mogelijk de spraakbeperkingen weerspiegelen die door bepaalde regeringen zijn opgelegd, wat de vrees doet toenemen dat politieke vooringenomenheid verankerd kan raken in AI-diensten die door een toenemend aantal mensen worden gebruikt.

De studie onderzocht 10 AI-modellen in meerdere rechtsgebieden

Het onderzoek is de eerste studie van de Oversight Board die zich richt op grote taalmodellen.

De raad, gefinancierd door Meta maar onafhankelijk opererend, testte politiek-kritische prompts in 10 rechtsgebieden met behulp van 10 AI-modellen.

De modellen omvatten systemen ontwikkeld door Meta Platforms, Google en het Chinese DeepSeek, naast modellen van andere toonaangevende AI-bedrijven, waaronder Anthropic en OpenAI.

Om de analyse uit te voeren, verdeelde de raad de rechtsgebieden in twee categorieën, "permissief" en "restrictief."

De classificaties waren gebaseerd op ranglijsten van Freedom House in zijn jaarlijkse rapport Freedom in the World.

Modellen toonden hogere weigeringspercentages voor restrictieve regeringen

Volgens de studie wezen AI-modellen 34% van de verzoeken af die politiek-kritische inhoud zochten over restrictieve rechtsgebieden die dergelijke kritiek actief bestraffen, waaronder China en Saudi-Arabië.

Ter vergelijking daalde het weigeringspercentage naar 14% voor rechtsgebieden die dergelijke wetten niet hebben of deze niet actief handhaven.

De raad zei dat de bevindingen erop wijzen dat AI-systemen voorzichtiger kunnen zijn bij het reageren op prompts die regeringen met striktere controles op politieke uitingen betreffen.

Raad signaleert onverklaarde verwijzingen naar niet-bestaande regels

Naast de weigeringspercentages zei de Oversight Board dat zij voorbeelden had geïdentificeerd waarin AI-modellen hun reacties leken te rechtvaardigen door te verwijzen naar regels die niet te verifiëren waren.

"We zagen ook bewijs dat modellen uitlegden dat ze expliciete regels volgden die, voor zover wij konden nagaan, niet bestonden en niet gelijkmatig werden toegepast," zei de raad.

De raad zei dat dit aanvullende vragen oproept over hoe AI-systemen bepalen wanneer ze politiek gevoelige verzoeken moeten weigeren en of die beslissingen consequent worden toegepast.

Oversight Board roept op tot meer transparantie

Als reactie op haar bevindingen drong de Oversight Board er bij AI-ontwikkelaars op aan systematische mensenrechtenbeoordelingen uit te voeren als onderdeel van de ontwikkeling en uitrol van hun modellen.

De Oversight Board riep AI-bedrijven daarnaast op meer transparantie te geven over hun trainingsmethoden en evaluatieprocessen, en betoogde dat grotere openheid gebruikers en onderzoekers zou helpen beter te begrijpen hoe met politiek gevoelige inhoud wordt omgegaan.

De studie verschijnt te midden van bredere discussies over het toezicht op geavanceerde AI-systemen.

Eerder deze week riep Demis Hassabis, CEO van Google DeepMind, op tot de oprichting van een onder leiding van de VS staand AI-toezichthouderorgaan dat geavanceerde AI-modellen wereldwijd zou screenen voordat ze worden ingezet.

Het rapport van de Oversight Board voegt zich bij het lopende debat over de balans tussen AI-veiligheid, politieke neutraliteit en transparantie, en suggereert dat de manier waarop modellen reageren op politiek gevoelige onderwerpen kan verschillen, afhankelijk van de betrokken regeringen en de juridische omgevingen waarin deze regeringen opereren.