Impossibile riconoscere il testo generato dall'IA?

A fine gennaio, OpenAI ha annunciato di aver istruito un classificatore IA incaricato di riconoscere il testo generato dalle intelligenze artificiali, permettendo così di distinguerlo da quanto scritto da un essere umano. Uno strumento, secondo la software house, utile per contrastare il fenomeno delle allucinazioni e la diffusione di false informazioni. Una finalità nobile, se non fosse che i risultati restituiti si siano fin qui rivelati deludenti.

Testo generato dall’IA: nemmeno OpenAI lo sa riconoscere

L’organizzazione di Sam Altman ha ora deciso di abbandonare il progetto. O meglio, di accantonare il tool presentato all’inizio dell’anno, ritenuto poco preciso e di conseguenza poco efficace. Nel post sul blog ufficiale, il team dichiara di essere al lavoro su nuovi metodi utili a identificare i contenuti audio e visivi creati dagli algoritmi, senza però specificare alcuna tempistica per la loro introduzione (e confermando tacitamente di aver gettato la spugna sul fronte dei testi).

Al 20 luglio 2023, il classificatore IA non è più disponibile a causa del suo basso tasso di precisione. Stiamo lavorando per incorporare i feedback e, al momento, siamo alla ricerca di tecniche più efficaci per identificare la provenienza di un testo. E ci siamo impegnati a sviluppare e a implementare meccanismi che permettano agli utenti di capire se gli audio o i contenuti visivi siano generati dall’intelligenza artificiale.

Va specificato che, fin dal debutto dello strumento, OpenAI ne ha resi noti i limiti. Eccoli.

• Inaffidabilità con i testi molto brevi (sotto le 1.000 battute) e, talvolta, anche con quelli più lunghi;
• alcuni testi scritti da un essere umano potrebbero essere erroneamente etichettati come generati dall’IA;
• funzionamento poco efficace con lingue diverse dall’inglese;
• contenuti prevedibili, ad esempio l’elenco dei primi 1.000 numeri primi, sono difficili da valutare;
• le modifiche manuali ai testi generati dall’IA potrebbero trarre in inganno il classificatore;
• l’efficacia potrebbe decadere notevolmente nella valutazione di testi molto diversi rispetto a quelli analizzati durante la fase di addestramento.

In definitiva, per rispondere alla domanda che dà il titolo a questo articolo, è impossibile riconoscere il testo generato dall’IA? Forse un giorno lo si potrà fare con un ragionevole livello di precisione, ma non a stretto giro: nemmeno i creatori di ChatGPT ci sono finora riusciti. Finiremo per dar valore alle sgrammaticature e ai refusi come indicatori unici di autenticità, almeno finché un algoritmo non imparerà a simulare anche quelli.