Bing Chat (Copilot): risposte sbagliate sulle elezioni

Bing Chat (noto ora come Microsoft Copilot) ha fornito informazioni false e ingannevoli sulle elezioni europee. I ricercatori di AlgorithmWatch e AI Forensics, due organizzazioni non-profit che tracciano l’impatto dell’intelligenza artificiale sulla società, hanno rilevato diverse “allucinazioni” durante i test effettuati tra il 21 agosto e il 2 ottobre 2023.

Il chatbot di Microsoft inventa i fatti

Le due organizzazioni hanno effettuato i test prima delle elezioni in Svizzera e due stati federali (Baviera e Assia) in Germania. Le domande sono state scritte in inglese, tedesco e francese. I prompt sono stati scelti attraverso un sondaggio tra i cittadini per un totale di 867 input unici (5.759 considerando le domande ripetute più volte).

I ricercatori hanno chiesto a Microsoft Copilot informazioni sui candidati e le modalità di voto, i dati dei sondaggi, le notizie sulle elezioni e anche se i candidati sono stati coinvolti in qualche scandalo. Un terzo delle risposte contenevano errori fattuali, tra cui date sbagliate delle elezioni, candidati non presenti e addirittura scandali inventati (con l’indicazione delle fonti che avevano invece riportato correttamente le notizie).

I ricercatori hanno inoltre verificato che le misure di sicurezza del chatbot sono applicate in modo non uniforme, portando a risposte evasive nel 40% dei casi. Copilot non è stato in grado di rispondere a semplici domande sui candidati alle rispettive elezioni, quindi è una fonte di informazioni praticamente inutile.

Le risposte più accurate si ottengono quando vengono effettuate domande in inglese. L’addestramento del modello GPT-4 viene eseguito principalmente su contenuti in inglese. Dopo aver ricevuto le segnalazioni dalle due organizzazioni, Microsoft ha corretto pochi problemi.

Frank Shaw, portavoce di Microsoft, ha dichiarato che verranno introdotti miglioramenti in vista delle elezioni del 2024, ma gli utenti dovrebbero comunque verificare le risposte di Copilot attraverso le fonti. Meglio evitare di chiedere al chatbot informazioni su argomenti sensibili, come quelli politici, legali e medici.