Character.AI ha appena svelato AvatarFX. Il nuovo strumento, disponibile per pochi beta tester, trasforma i chatbot testuali della piattaforma in personaggi animati. AvatarFX permette di generare video realistici in cui i personaggi della piattaforma prendono vita, parlano e si muovono sullo schermo.
AvatarFX, il generatore di video AI che dà vita ai chatbot
La particolarità di AvatarFX è che non si limita a generare video a partire da un testo, come fa ad esempio Sora di OpenAI. Questo modello permette anche di animare foto di persone reali. Una funzionalità che spalanca scenari creativi interessanti per artisti e content creator, ma che inevitabilmente solleva il fantasma dei deepfake e della manipolazione non consensuale.
Non ci vuole molto a capire come una tecnologia del genere possa essere usata in modo improprio. Immaginiamo di caricare la foto di una celebrità o di una persona che conosciamo e di creare un video realistico in cui fa o dice qualcosa di compromettente. I deepfake esistono già, ma integrarli in prodotti di consumo popolari come Character.AI non fa che aumentare il rischio di un uso irresponsabile.
Character.AI e i problemi di sicurezza
Purtroppo, AvatarFX non è l’unico grattacapo per Character.AI quando si parla di sicurezza. La piattaforma è già al centro di cause legali intentate da genitori che accusano i chatbot di aver incoraggiato i loro figli a farsi del male o a suicidarsi. È il caso di quel 14enne che si tolto la vita dopo aver sviluppato una relazione ossessiva con un bot di Character.AI basato su un personaggio di “Trono di Spade”. Poco prima di morire, il ragazzo si era confidato con l’AI riguardo ai suoi pensieri suicidi, e l’AI lo aveva spinto a farlo, secondo i documenti del tribunale.
Quando l’AI manipola le emozioni
I chatbot AI possono avere un impatto emotivo molto forte sulle persone, anche solo attraverso semplici messaggi scritti. Il legame che si instaura, può diventare ancora più potente con l’introduzione di video realistici. Vedere un volto che si muove, parla e reagisce può far sembrare il chatbot ancora più “umano”, aumentando il coinvolgimento emotivo… e anche il rischio di manipolazioni o dipendenza.
In risposta a queste preoccupazioni, Character.AI ha implementato controlli parentali e strumenti di sicurezza aggiuntivi per proteggere i minori. Ma come per qualsiasi app, i controlli sono efficaci solo quando vengono effettivamente utilizzati. Spesso i ragazzi usano la tecnologia in modi che i genitori non conoscono o non riescono a monitorare.