Waarom overmoedige AI-modellen assertiviteit boven nauwkeurigheid stellen

De zorgen nemen toe over de betrouwbaarheid van kunstmatige intelligentiemodellen, nu nieuw onderzoek aantoont dat sommige populaire systemen in meer dan een derde van hun antwoorden onjuiste informatie produceren, ondanks het toenemende vertrouwen en vertrouwen in AI-technologie, aldus ING Group woensdag.

Moderne AI-modellen, met diep redeneren, langetermijngeheugen en autonome agenten, kunnen taken zoals websurfen uitvoeren met minimale menselijke tussenkomst.

De uitvoering van deze taken vereist echter uitgebreide data, wat leidt tot een grotere afhankelijkheid van externe databronnen die vaak ongecontroleerd en niet geverifieerd zijn, aldus Julian Geib van ING, junior econoom wereldhandel, in een rapport.

Zelfoverschatting

Toonaangevende AI-systemen genereren valse claims tot wel 40%, een gevolg dat wordt benadrukt in een recent onderzoek van de European Broadcasting Union (EBU).

De toegenomen frequentie van reacties sluit aan bij een verschuiving in het gedrag van AI-modellen.

Eerdere AI-systemen waren geprogrammeerd om vragen over onderwerpen buiten hun trainingsdatasets niet te beantwoorden.

Echter, hedendaagse systemen met webconnectiviteit zijn zo ontworpen dat ze vaker antwoorden, zelfs wanneer de beschikbare informatie beperkt of onzeker is.

Een verhoogde gebruikersbetrokkenheid is een voordeel, maar het resulteert in meer gefabriceerde output, wat we "AI-hallucinaties" noemen, zei Geib.

Vloeiendheid boven nauwkeurigheid

Zelfs nieuwere AI-modellen ervaren vaak hallucinaties om verschillende redenen.

Vooral wanneer gebruikers vage of te complexe vragen stellen, heeft het model moeite met interpretatie.

Dit leidt er vaak toe dat het model vertrouwt op statistische patronen om "de gaten in te vullen," wat volgens Geib een ogenschijnlijk volledige, maar mogelijk feitelijk onnauwkeurige reactie oplevert.

Hoewel deze antwoorden bedoeld zijn om nuttig te zijn, kunnen ze onjuiste informatie introduceren.

Het fijn afstemmen van modellen met menselijke feedback geeft vaak de voorkeur aan zelfverzekerde, behulpzame antwoorden, wat leidt tot een voorkeur voor onnauwkeurige maar assertieve uitspraken boven voorzichtige of onzekere antwoorden.

Het probleem wordt verergerd door het sterk dalende "geen responspercentage."

Oudere modellen weigerden bijna 40% van de zoekopdrachten, maar nieuwere modellen beantwoorden bijna alles.

In kritieke sectoren zoals politiek en gezondheidszorg zorgt deze prioriteit voor vloeiendheid boven nauwkeurigheid voor ernstige desinformatierisico's.

AI wordt steeds gebruikelijker om informatie over actuele gebeurtenissen te verkrijgen, vooral onder jongere doelgroepen.

Opvallend is dat 15% van de mensen onder de 25 jaar aangeeft dat ze afhankelijk zijn van AI-chatbots als hun belangrijkste nieuwsbron.

"Gezien het toenemende gebruik van AI, zowel privé als in bedrijven, zou nauwkeurigheid een prioriteit moeten zijn," zei Geib.

Bewustzijn van vitaal belang

Geib voegde toe:

De huidige beperkingen in de nauwkeurigheid van AI suggereren dat de algehele vervanging van volledige professionele vakgebieden in de nabije toekomst een aanzienlijk geringe waarschijnlijkheid is, aldus Geib.

Dit komt vooral doordat menselijke professionals in de meeste domeinen opereren met een mate van genuanceerd oordeel, contextueel begrip en nauwkeurigheid die huidige AI-systemen moeilijk consistent kunnen evenaren.

Het risico op wijdverspreide baanverplaatsing wordt daarom alleen cruciaal in scenario's waarin de beoefenaars binnen een beroep volledig afhankelijk worden van – en er niet in slagen kritisch te verifiëren – de mogelijk gebrekkige of foutieve data en conclusies die door AI worden gegenereerd.

In wezen dient AI momenteel als een krachtig, maar onvolmaakt hulpmiddel, en de onnauwkeurigheden zorgen ervoor dat menselijke controle, kritisch denken en validatie onmisbare onderdelen van professioneel werk blijven.

"AI-gegenereerde uitspraken moeten met dezelfde kritische blik worden behandeld als menselijke claims," merkte Geib op.