Whisper di OpenAI soffre di allucinazioni, dicono i ricercatori

Software engineer, sviluppatori e ricercatori accademici hanno espresso serie preoccupazioni riguardo allo strumento di trascrizione Whisper di OpenAI, secondo un recente articolo dell’Associated Press. Nonostante le discussioni sulla tendenza dell’AI generativa a produrre “allucinazioni“, ovvero a inventare informazioni, è un po’ sorprendente che questo problema si manifesti anche con la trascrizione, dove ci si aspetterebbe una fedele riproduzione dell’audio originale.

Le allucinazioni di Wispher di OpenAI nelle trascrizioni: dai commenti razziste ai trattamenti medici immaginari

I ricercatori hanno rivelato all’AP che Whisper ha introdotto nelle trascrizioni contenuti inappropriati e inventati, che vanno da commenti razzisti a trattamenti medici inesistenti. Queste allucinazioni potrebbero rivelarsi particolarmente pericolose se Whisper venisse adottato in ambito sanitario o in altri contesti medici.

Uno studio condotto da un ricercatore dell’Università del Michigan ha evidenziato la presenza di allucinazioni in otto trascrizioni audio su dieci relative a riunioni pubbliche. Un ingegnere ha riscontrato allucinazioni in più della metà delle oltre 100 ore di trascrizioni analizzate, mentre uno sviluppatore ha segnalato la presenza di allucinazioni in quasi tutte le 26.000 trascrizioni generate con Whisper.

La risposta di OpenAI e le politiche di utilizzo

Un portavoce di OpenAI ha dichiarato che l’azienda si impegna costantemente per migliorare l’accuratezza dei propri modelli, inclusa la riduzione delle allucinazioni, e ha sottolineato che le politiche di utilizzo vietano l’impiego di Whisper in alcuni contesti decisionali ad alto rischio. L’azienda ha anche espresso apprezzamento per i ricercatori che hanno condiviso le loro scoperte.

Tuttavia, la presenza di allucinazioni nelle trascrizioni generate da Whisper solleva importanti interrogativi sulla sua affidabilità e sulla necessità di ulteriori miglioramenti. Considerando le potenziali conseguenze negative derivanti dall’uso di trascrizioni inaccurate o inventate, soprattutto in ambiti sensibili come quello medico, è fondamentale che OpenAI e altre aziende che sviluppano strumenti di trascrizione basati sull’AI affrontino tempestivamente questo problema.