Perché i modelli di IA troppo sicuri danno priorità all'assertività rispetto all'accuratezza

Le preoccupazioni sull'affidabilità dei modelli di intelligenza artificiale aumentano, poiché nuove ricerche rivelano che alcuni sistemi popolari producono informazioni errate in oltre un terzo delle loro risposte, nonostante la crescente dipendenza e fiducia riposte nella tecnologia IA, ha dichiarato mercoledì ING Group.

I modelli di IA moderni, caratterizzati da ragionamento profondo, memoria a lungo termine e agenti autonomi, possono svolgere compiti come la navigazione web con un intervento umano minimo.

Tuttavia, l'esecuzione di questi compiti richiede dati estesi, portando a una maggiore dipendenza da fonti di dati esterne spesso non controllate e non verificate, ha dichiarato Julian Geib di ING, economista junior per il commercio globale, in un rapporto.

Presunzione

I principali sistemi di IA generano affermazioni false a un tasso fino al 40%, una conseguenza evidenziata da uno studio recente dell'Unione Europea di Radiodiffusione (EBU).

L'aumento della frequenza delle risposte è in linea con un cambiamento nel comportamento dei modelli di IA.

I primi sistemi di IA erano programmati per rifiutarsi di rispondere a domande riguardanti argomenti al di fuori dei loro dataset di addestramento.

Tuttavia, i sistemi contemporanei con connettività web sono progettati per rispondere più spesso, anche quando le informazioni disponibili sono limitate o incerte.

Un maggiore coinvolgimento degli utenti è un vantaggio, ma porta a risultati più artificiali, che chiamiamo "allucinazioni dell'IA", ha detto Geib.

Fluidità rispetto all'accuratezza

Anche i modelli di IA più recenti sperimentano frequentemente allucinazioni per diversi motivi.

Principalmente, quando gli utenti pongono domande vaghe o troppo complesse, il modello fatica con l'interpretazione.

Questo spesso porta il modello a fare affidamento su schemi statistici per "colmare i vuoti", generando una risposta apparentemente completa, ma potenzialmente fattualmente inaccurata, ha detto Geib.

Sebbene queste risposte mirino a essere utili, possono introdurre informazioni errate.

Ottimizzare i modelli con feedback umano spesso favorisce risposte sicure e utili, portando a un pregiudizio verso affermazioni inaccurate ma assertive rispetto a risposte caute o incerte.

Il problema è aggravato dal crollo del "tasso di nessuna risposta".

I modelli più vecchi rifiutavano quasi il 40% delle richieste, ma quelli più recenti rispondono quasi a tutto.

In campi critici come la politica e la salute, questa priorità sulla fluidità rispetto all'accuratezza crea seri rischi di disinformazione.

L'IA sta diventando uno strumento sempre più comune per accedere a informazioni sugli eventi attuali, soprattutto tra i giovani demografi.

In particolare, il 15% delle persone sotto i 25 anni afferma di affidarsi ai chatbot AI come principale fonte di notizie.

"Dato l'aumento dell'uso dell'IA sia privatamente che nelle aziende, l'accuratezza dovrebbe essere una priorità," ha detto Geib.

La consapevolezza è fondamentale

Geib ha aggiunto:

Le attuali limitazioni nell'accuratezza dell'IA suggeriscono che la sostituzione totale di interi campi professionali nel prossimo futuro rappresenti un evento a probabilità significativamente bassa, secondo Geib.

Questo principalmente perché i professionisti umani, nella maggior parte dei settori, operano con un grado di giudizio sfumato, comprensione contestuale e accuratezza che i sistemi IA attuali faticano a replicare in modo coerente.

Il rischio di una diffusione diffusa del posto di lavoro, quindi, diventa critico solo in situazioni in cui i professionisti di una professione diventano completamente dipendenti — e non verificano criticamente — i dati e le conclusioni potenzialmente errate o errate generate dall'IA.

In sostanza, l'IA rappresenta attualmente uno strumento potente, ma imperfetto, e le sue imprecisioni garantiscono che la supervisione umana, il pensiero critico e la validazione rimangano componenti indispensabili del lavoro professionale.

"Le dichiarazioni generate dall'IA dovrebbero essere trattate con la stessa mentalità critica delle affermazioni umane," ha osservato Geib.