Impegni per evitare la generazione di immagini CSAM

Amazon, Google, Meta, Microsoft, OpenAI e altre aziende hanno sottoscritto una serie di impegni per evitare la generazione di CSAM (Child Sexual Abuse Material) con i modelli IA. I principi Safety by Design riguardano ogni fase del ciclo di vita. Amazon e Google hanno inoltre illustrato le iniziate già avviate per sostenere il National Center for Missing and Exploited Children (NCMEC) e le denunce effettuate nel corso del 2023.

Prevenire abusi sessuali con l’IA generativa

L’intelligenza artificiale generativa viene già sfruttata per la creazione e diffusione di CSAM e CSEM (Child Sexual Exploitation Material). I predatori sessuali usano i tool disponibili (gratuiti e a pagamento) per modificare immagini e video che raffigurano minori in atteggiamenti espliciti. Diverse aziende che operano nel settore, tra cui Amazon, Google, Microsoft, Meta, OpenAI, Anthropic, Stability AI e Mistral AI, hanno sottoscritto i principi Safety by Design per contrastare la generazione di questi contenuti, noti come AIG-CSAM (AI-Generated Child Sexual Abuse Material).

Gli impegni relativi alla fase di sviluppo prevedono l’individuazione e la rimozione dei contenuti CSAM e CSEM dai dataset usati per l’addestramento dei modelli. Le aziende devono inoltre effettuare stress test per valutare l’efficacia delle misure e aggiungere metodi per indicare la provenienza di contenti, ad esempio i watermark.

Gli impegni relativi alla fase di distribuzione prevedono l’implementazione di misure per bloccare la generazione dei contenuti CSAM e CSEM. In pratica devono essere aggiunti filtri che rilevano input (prompt) vietati.

Infine, durante la fase di manutenzione, devono essere rimossi dalle piattaforme i contenuti CSAM e CSEM generati e anche modelli creati per generare AIG-CSAM e “nudificare” i minori. Le aziende che vogliono partecipare all’iniziativa possono contattare Thorn.