Hvorfor overmodige AI-modeller prioriterer assertivitet frem for nøjagtighed

Bekymringerne om pålideligheden af kunstig intelligens-modeller vokser, da ny forskning viser, at nogle populære systemer producerer forkerte oplysninger i over en tredjedel af deres svar, på trods af den stigende afhængighed og tillid til AI-teknologi, oplyste ING Group onsdag.

Moderne AI-modeller, der har dyb ræsonnering, langtidshukommelse og autonome agenter, kan udføre opgaver som websurfing med minimal menneskelig indgriben.

Dog kræver udførelsen af disse opgaver omfattende data, hvilket fører til en større afhængighed af eksterne datakilder, som ofte er ukontrollerede og uverificerede, sagde ING's Julian Geib, juniorøkonom for global handel, i en rapport.

Selvtillid

Førende AI-systemer genererer falske påstande med en rate på op til 40 %, en konsekvens fremhævet i en nylig undersøgelse foretaget af European Broadcasting Union (EBU).

Den øgede frekvens af svar stemmer overens med et skift i AI-modellernes adfærd.

Tidligere AI-systemer var programmeret til at nægte at besvare spørgsmål vedrørende emner uden for deres træningsdatasæt.

Dog er nutidige systemer med webforbindelse designet til at svare oftere, selv når den tilgængelige information er begrænset eller usikker.

Øget brugerengagement er en fordel, men det resulterer i mere fabrikeret output, som vi kalder "AI-hallucinationer", sagde Geib.

Flydende over nøjagtighed

Selv nyere AI-modeller oplever ofte hallucinationer af flere grunde.

Primært, når brugere stiller vage eller alt for komplekse spørgsmål, har modellen svært ved fortolkningen.

Dette fører ofte til, at modellen benytter statistiske mønstre for at "udfylde hullerne," hvilket genererer et tilsyneladende fuldstændigt, men potentielt faktuelt upræcist, svar, sagde Geib.

Selvom disse svar har til formål at være hjælpsomme, kan de introducere forkert information.

Finjustering af modeller med menneskelig feedback favoriserer ofte selvsikre, hjælpsomme svar, hvilket fører til en tendens til unøjagtige, men assertive udsagn frem for forsigtige eller usikre svar.

Problemet forværres af det faldende "ingen svarprocent."

Ældre modeller nægtede næsten 40% af forespørgslen, men nyere modeller besvarer næsten alt.

Inden for kritiske felter som politik og sundhed skaber denne prioritering af flydende sprog frem for nøjagtighed alvorlige risici for misinformation.

AI bliver et mere almindeligt værktøj til at få adgang til information om aktuelle begivenheder, især blandt yngre demografier.

Bemærkelsesværdigt angiver 15 % af personer under 25 år, at de er afhængige af AI-chatbots som deres primære nyhedskilde.

"I betragtning af den stigende brug af AI både privat og i virksomheder, bør nøjagtighed være en prioritet," sagde Geib.

Bevidsthed vital

Geib tilføjede:

De nuværende begrænsninger i AI's nøjagtighed antyder, at en fuldstændig udskiftning af hele professionelle felter i den nærmeste fremtid er en begivenhed med betydelig lav sandsynlighed, ifølge Geib.

Dette skyldes primært, at menneskelige fagfolk i de fleste områder arbejder med en grad af nuanceret dømmekraft, kontekstuel forståelse og nøjagtighed, som nuværende AI-systemer har svært ved konsekvent at efterligne.

Risikoen for udbredt jobforskydning bliver derfor kun kritisk i scenarier, hvor udøverne inden for et erhverv bliver fuldstændig afhængige af – og undlader at kritisk verificere – de potentielt fejlagtige eller fejlagtige data og konklusioner, som AI genererer.

Grundlæggende fungerer AI i øjeblikket som et kraftfuldt, men ufuldkomment, værktøj, og dets unøjagtigheder sikrer, at menneskelig overvågning, kritisk tænkning og validering forbliver uundværlige elementer i professionelt arbejde.

"AI-genererede udsagn bør behandles med samme kritiske tankegang som menneskelige påstande," bemærkede Geib.