Come molti utenti hanno notato, il chatbot di DeepSeek evita di rispondere a domanda su argomenti sensibili, ovvero vietati dal governo cinese. Durante la sua analisi, NewsGuard ha scoperto che il servizio fornisce informazioni false nell’83% dei casi. Il chatbot si colloca al penultimo posto della classifica che include i concorrenti occidentali.
Chatbot inaffidabile
NewsGuard ha applicato al chatbot di DeepSeek la stessa metodologia di test usata per stabilire l’esattezza delle risposte fornite dai chatbot di OpenAI, You.com, xAI, Inflection, Mistral, Microsoft, Meta, Anthropic, Google e Perplexity. Utilizzando prompt relativi a notizie su vari argomenti, il chatbot dell’azienda cinese ha fornito informazioni false il 30% delle volte e nessuna risposte il 53% delle volte, quindi la percentuale di fallimento è dell’83%.
Nel caso di tre delle dieci false narrazioni testate, DeepSeek ha fornito la posizione del governo cinese senza che gli venisse chiesto nulla in merito. Sembra quindi che il chatbot sia un portavoce della Cina. Invece di rispondere alle domande su alcuni argomenti, il chatbot riporta la posizione ufficiale del governo cinese.
Il chatbot dell’azienda può accedere ad Internet, ma non fornisce risposte su notizie recenti. Ad esempio, quando viene fatta una domanda sull’ex Presidente della Siria, il chatbot risponde che le sue conoscenze si fermano ad ottobre 2023. NewsGuard ha inoltre verificato che può essere sfruttato come generatore di fake news.
Il chatbot può scrivere lunghi articoli con affermazioni false. Questa capacità permette ai malintenzionati di diffondere notizie che sembrano vere. In base ai termini del servizio, gli utenti devono verificare l’attendibilità delle risposte. Tale compito dovrebbe spettare agli sviluppatori del modello.