Avatar digitali di TikTok con le parole di Hitler

TikTok ha annunciato nuovi tool per la suite Symphony utilizzata dagli inserzionisti. Una delle funzionalità permette di usare avatar digitali per le campagne pubblicitarie. A causa di un errore, gli utenti hanno potuto accedere ad una versione senza filtri. Gli avatar potevano quindi dire qualsiasi cosa, anche pronunciare un estratto del Mein Kampf di Hitler.

Conseguenze di IA senza controllo

La funzionalità Simphony Digital Avatars consente di generare avatar digitali basati su persone reali. Le aziende possono usare gli avatar stock, ovvero basati su attori pagati e disponibili con licenza per uso commerciale, oppure avatar custom che rappresentano un portavoce del brand. In entrambi i casi sono supportate numerose lingue e al video viene aggiunta l’etichetta che indica l’uso dell’IA generativa.

TikTok placed zero content restrictions on the app. Any words we put in created a video with a peppy “Stock AI” Avatar reciting them. That included:

-The 14 words
-An excerpt from Mein Kampf
-Osama Bin Laden’s Letter to America
-A video telling people to drink bleach from “a… pic.twitter.com/I2QbqbDFnw

— Jon Sarlin (@jonsarlin) June 21, 2024

Un giornalista della CNN ha scoperto che il tool consentiva di inserire qualsiasi prompt, ovvero il testo che viene letto dall’avatar digitale (in questo caso dalla versione stock). Non solo era possibile aggirare i filtri, ma anche accedere ai Simphony Digital Avatars con un semplice account personale, invece dell’account TikTok Ads Manager.

Laura Perez, portavoce di TikTok, ha dichiarato che si è verificato un errore tecnico (già risolto). Alcuni utenti hanno potuto accedere ad una versione del tool usata come test dall’azienda, al quale non è applicato nessun filtro per evitare frasi non consentite dalle linee guida.

L’incidente conferma per l’ennesima volta i rischi associati all’intelligenza artificiale generativa. Quasi tutti i tool disponibili non garantiscono la sicurezza assoluta. Per errori involontari o vulnerabilità potrebbero essere sfruttati in modo sbagliato e gli utenti verrebbero facilmente ingannati.