Un gruppo di ricercatori accademici guidato dall’Università del Kansas sembra essere riuscito a addestrare un algoritmo di apprendimento automatico per riconoscere automaticamente gli articoli scientifici scritti da ChatGPT. Potrebbe sembrare un traguardo impossibile ma già altre analisi – tra cui la scrittura di un episodio di Black Mirror – hanno reso evidenti i limiti del chatbot di OpenAI, i cui testi possono essere riconosciuti abilmente osservando il lessico adottato e la struttura dei testi.
ChatGPT viene riconosciuto davvero facilmente?
I modelli IA sono migliorati nell’imitare la scrittura umana e sta lentamente diventando complesso identificare i casi di plagio o “imbroglio” da parte di studenti e non solo. Alcuni software cercano di rivelare l’origine effettiva dei testi, dimostrandosi però non sempre così affidabili. La soluzione ora offerta dall’Università del Kansas, in particolare dal team guidato da Heather Desaire, cerca di risolvere questo problema.
Desaire e i suoi colleghi sono infatti riusciti a compilare un set di dati per addestrare un algoritmo capace di classificare articoli scritti da scienziati e da ChatGPT, distinguendo le opere stese dall’IA con una velocità notevole.
Servendosi di 64 articoli riguardanti una vasta serie di argomenti, hanno spinto ChatGPT a generare paragrafi sullo stesso tema per un totale di 128 articoli e 1.276 paragrafi. Questi sono stati usati per allenare l’algoritmo a riconoscere i contenuti artificiali. Dopodiché, i ricercatori hanno realizzato altri due set di dati – ciascuno con 30 articoli autentici e 60 scritti da ChatGPT – come campioni di prova, dimostrando che l’algoritmo è capace di discernere tra la vera scrittura scientifica da parte di umani e documenti generati dall’intelligenza artificiale nel 99% dei casi, diminuendo l’efficacia al 92% nel caso dell’analisi dei singoli paragrafi.
Questo algoritmo classificatore sarebbe davvero efficace in quanto comprende le differenze stilistiche tra la scrittura umana e quella delle IA: ChatGPT, difatti, usa molto meno la punteggiatura e adotta un vocabolario meno ricco, scrivendo paragrafi brevi con parole ripetute. In aggiunta, ChatGPT è inevitabilmente meno preciso nei dati forniti negli output e usa un linguaggio più sicuro, pratiche invece evitate nei veri articoli scientifici.
I ricercatori hanno concluso che un test più ampio definirebbe al meglio l’accuratezza del metodo anche oltre la sfera scientifica; serviranno, in altri termini, studi follow-up per determinare l’estensione dell’applicabilità di questo approccio.
Ti potrebbe interessare
8 giu 2023