Varför övermodiga AI-modeller prioriterar assertivitet framför noggrannhet

Oro ökar kring tillförlitligheten hos artificiella intelligensmodeller, då ny forskning visar att vissa populära system producerar felaktig information i över en tredjedel av sina svar, trots det ökande förtroendet och förtroendet för AI-teknologi, uppgav ING Group på onsdagen.

Moderna AI-modeller, med djupt resonemang, långtidsminne och autonoma agenter, kan utföra uppgifter som webbsurfning med minimal mänsklig inblandning.

Utförandet av dessa uppgifter kräver dock omfattande data, vilket leder till ett större beroende av externa datakällor som ofta är okontrollerade och overifierade, sade ING:s Julian Geib, junior ekonom för global handel, i en rapport.

Overconfidence

Ledande AI-system genererar falska påståenden i en takt av upp till 40 %, en konsekvens som lyfts fram i en nyligen genomförd studie från Europeiska radiounionen (EBU).

Den ökade frekvensen av svar sammanfaller med en förändring i AI-modellens beteende.

Tidigare AI-system programmerades att vägra svara på frågor om ämnen utanför deras träningsdatamängder.

Men samtida system med webbanslutning är konstruerade för att svara oftare, även när informationen är begränsad eller osäker.

Ökat användarengagemang är en fördel, men det resulterar i mer fabricerat resultat, vilket vi kallar "AI-hallucinationer", sade Geib.

Flyt framför noggrannhet

Även nyare AI-modeller upplever ofta hallucinationer av flera anledningar.

Främst när användare ställer vaga eller alltför komplexa frågor har modellen svårt att tolka.

Detta leder ofta till att modellen förlitar sig på statistiska mönster för att "fylla i luckorna", vilket genererar ett till synes fullständigt, men potentiellt faktamässigt felaktigt, svar, sade Geib.

Även om dessa svar syftar till att vara hjälpsamma kan de introducera felaktig information.

Finjustering av modeller med mänsklig feedback gynnar ofta självsäkra, hjälpsamma svar, vilket leder till en fördomsvilja mot felaktiga men bestämda uttalanden framför försiktiga eller osäkra svar.

Problemet förvärras av den rasande "ingen svarsfrekvensen."

Äldre modeller vägrade nästan 40 % av frågorna, men nyare svarar på nästan allt.

Inom kritiska områden som politik och hälsa skapar denna prioritering av flyt framför noggrannhet allvarliga risker för desinformation.

AI blir ett allt vanligare verktyg för att få tillgång till information om aktuella händelser, särskilt bland yngre målgrupper.

Noterbart är att 15 % av personer under 25 år uppger att de är beroende av AI-chattbotar som sin huvudsakliga nyhetskälla.

"Med tanke på den ökande användningen av AI både privat och i företag bör noggrannhet vara en prioritet," sade Geib.

Medvetenhet är avgörande

Geib tillade:

De nuvarande begränsningarna i AI:s noggrannhet tyder på att en total ersättning av hela yrkesområden inom den närmaste framtiden är en händelse med betydligt låg sannolikhet, enligt Geib.

Detta beror främst på att mänskliga yrkesverksamma inom de flesta områden arbetar med en grad av nyanserat omdöme, kontextuell förståelse och noggrannhet som nuvarande AI-system har svårt att konsekvent återskapa.

Risken för omfattande arbetsförlust blir därför avgörande endast i situationer där utövare inom ett yrke blir helt beroende av – och misslyckas med att kritiskt verifiera – de potentiellt bristfälliga eller felaktiga data och slutsatser som AI genererar.

I grund och botten fungerar AI för närvarande som ett kraftfullt, men ofullständigt, verktyg, och dess felaktigheter säkerställer att mänsklig tillsyn, kritiskt tänkande och validering förblir oumbärliga delar av professionellt arbete.

"AI-genererade uttalanden bör behandlas med samma kritiska inställning som mänskliga påståenden," noterade Geib.