ChatGPT sbaglia le citazioni delle fonti

OpenAI ha sottoscritto accordi di licenza con numerosi editori per poter usare i contenuti durante l’addestramento dei modelli di intelligenza artificiale generativa. Gli articoli pubblicati online vengono inoltre citati nelle risposte di ChatGPT. In base allo studio del Tow Center for Digital Journalism della Columbia Journalism School, il chatbot può attribuire i contenuti alla fonte sbagliata.

Possibili danni di immagine per gli editori

I ricercatori hanno considerato 10 articoli per ognuno dei 20 editori selezionati, tra cui il New York Times (che ha denunciato OpenAI per violazione del copyright), il Financial Times (che ha sottoscritto un accordo di licenza con OpenAI) e il Washington Post (che non ha nessun accordo). Gli articoli vengono mostrati tra i primi tre risultati di Google e Bing. L’obiettivo è verificare se ChatGPT attribuisce i contenuti alla fonte corretta.

I ricercatori hanno scoperto che le citazioni di ChatGPT non sono affidabili. Nella maggioranza dei casi (89), il chatbot sbaglia tutto (nome dell’editore, data, URL e testo citato), mentre la citazione è parzialmente corretta per 57 articoli. È invece esatta per 47 contenuti, mentre per 7 articoli non viene trovata la fonte. Tra le risposte sbagliate ci sono anche quelle relative ad articoli di editori che hanno bloccato il crawler di OpenAI.

Google e Bing forniscono correttamente il link alla fonte oppure specificano che non c’è nessun risultato. ChatGPT risponde invece quasi sempre, ma sbaglia la citazione quando non riesce a trovare la fonte. Gli utenti non possono quindi valutare la validità delle risposte. Ciò potrebbe comportare anche un danno di immagine per gli editori (ad esempio se viene erroneamente attribuita una fake news).

Lo studio ha evidenziato un altro problema. Il New York Times ha bloccato lo scraping da parte di OpenAI, ma ChatGPT ha fornito ugualmente una risposta citando un suo articolo. In realtà è stata citata una copia (plagio) pubblicata da un altro sito che non ha indicato la fonte originale. ChatGPT non riesce quindi a verificare l’autenticità delle fonti.