Hvorfor overmodige AI-modeller prioriterer selvsikkerhet fremfor nøyaktighet

Bekymringene øker rundt påliteligheten til kunstig intelligens-modeller, ettersom ny forskning viser at noen populære systemer produserer feil informasjon i over en tredjedel av svarene sine, til tross for den økende avhengigheten og tilliten til AI-teknologi, opplyste ING Group onsdag.

Moderne AI-modeller, med dyp resonnement, langtidsminne og autonome agenter, kan utføre oppgaver som nettlesing med minimal menneskelig inngripen.

Imidlertid krever utførelsen av disse oppgavene omfattende data, noe som fører til større avhengighet av eksterne datakilder som ofte er ukontrollerte og uverifiserte, sa INGs Julian Geib, juniorøkonom i global handel, i en rapport.

Overconfidence

Ledende AI-systemer genererer falske påstander i en rate på opptil 40 %, en konsekvens som fremheves i en nylig studie fra European Broadcasting Union (EBU).

Den økte frekvensen av svar samsvarer med en endring i AI-modellens atferd.

Tidligere AI-systemer var programmert til å nekte å svare på spørsmål om temaer utenfor deres treningsdatasett.

Moderne systemer med webtilkobling er imidlertid konstruert for å svare oftere, selv når tilgjengelig informasjon er begrenset eller usikker.

Økt brukerengasjement er en fordel, men det resulterer i mer fabrikert produksjon, som vi kaller «AI-hallusinasjoner», sa Geib.

Flyt fremfor nøyaktighet

Selv nyere AI-modeller opplever ofte hallusinasjoner av flere grunner.

Først og fremst, når brukere stiller vage eller altfor komplekse spørsmål, sliter modellen med tolkning.

Dette fører ofte til at modellen stoler på statistiske mønstre for å «fylle inn hullene», noe som gir et tilsynelatende komplett, men potensielt faktuelt unøyaktig, svar, sa Geib.

Selv om disse svarene har som mål å være hjelpsomme, kan de introdusere feilaktig informasjon.

Finjustering av modeller med menneskelig tilbakemelding favoriserer ofte selvsikre, hjelpsomme svar, noe som fører til en skjevhet mot unøyaktige, men bestemte utsagn fremfor forsiktige eller usikre svar.

Problemet forverres av den fallende «ingen responsraten».

Eldre modeller nektet nesten 40 % av spørsmålene, men nyere svarer på nesten alt.

I kritiske felt som politikk og helse skaper denne prioriteringen av flyt fremfor nøyaktighet alvorlige risikoer for feilinformasjon.

KI blir et stadig vanligere verktøy for å få tilgang til informasjon om aktuelle hendelser, spesielt blant yngre målgrupper.

Merkbart oppgir 15 % av personer under 25 år at de er avhengige av AI-chatboter som sin hovedkilde til nyheter.

"Gitt den økende bruken av AI både privat og i bedrifter, bør nøyaktighet være en prioritet," sa Geib.

Bevissthet er avgjørende

Geib la til:

De nåværende begrensningene i nøyaktigheten til AI antyder at en fullstendig utskifting av hele profesjonelle felt i nær fremtid er en betydelig lav sannsynlighet, ifølge Geib.

Dette skyldes hovedsakelig at menneskelige fagfolk i de fleste områder opererer med en grad av nyansert dømmekraft, kontekstuell forståelse og nøyaktighet som dagens AI-systemer sliter med å konsekvent etterligne.

Risikoen for omfattende jobbforskyvning blir derfor avgjørende bare i situasjoner der utøvere i et yrke blir helt avhengige av—og unnlater å kritisk verifisere—potensielt feilaktige data og konklusjoner generert av KI.

I bunn og grunn fungerer KI i dag som et kraftig, men ufullkomment, verktøy, og dens unøyaktigheter sikrer at menneskelig tilsyn, kritisk tenkning og validering forblir uunnværlige komponenter i profesjonelt arbeid.

"AI-genererte utsagn bør behandles med samme kritiske tankegang som menneskelige påstander," bemerket Geib.