BadNet, la IA con backdoor incorporata

I sistemi di intelligenza artificiale basati su algoritmi di machine learning sono vulnerabili all’implementazione di vere e proprie backdoor , o almeno questo e quello che ipotizzano i ricercatori che hanno identificato l’esistenza potenziale delle cosiddette BadNet . Reti “intelligenti” e apparentemente normali, che però al loro interno possono nascondere una sorpresa ben poco piacevole per gli utenti e la community.

Una BadNet è una “rete addestrata con intenti malevoli”, spiegano i ricercatori , un problema molto più concreto di quanto si possa pensare a causa del fatto che la stragrande maggioranza delle IA capaci di auto-apprendere sono oggi “appaltate” a piattaforme cloud esterne (Google, Microsoft, Amazon ecc.) – le sole in grado di fornire la potenza computazionale e le risorse di storage/rete necessarie.

Gli algoritmi di machine learning di una piattaforma di terze parti non possono essere analizzati in prima persona, avvertono gli esperti, e quindi non è possibile verificare l’eventuale presenza di tendenze o comportamenti malevoli . La sicurezza è un interrogativo, come d’altronde tutto il resto quando si parla di strumenti informatici forniti “come servizio” dalle corporazioni grandi e piccole attive su Internet.

I set di dati forniti a tali piattaforme possono essere “avvelenati”, dicono ancora i ricercatori, in uno scenario in cui il processo di training della IA viene sub-appaltato a un altro soggetto terzo interessato a implementare la backdoor; la IA di un sistema di identificazione biometrica può ad esempio essere addestrata a ignorare alcune facce, permettendo ad un ladro (ovviamente hi-tech) di penetrare in un edificio senza allertare i sistemi di sicurezza.

Le IA con backdoor e sensori visivi sono poi facili da abusare con l’utilizzo di “trigger” o particolari rivelatori, spiegano i ricercatori, inserendo ad esempio una piccola “x” in basso a destra in un sistema di riconoscimento della calligrafia o, peggio ancora, servendosi di post-it appiccicati sui segnali di Stop ai bordi della carreggiata; in quest’ultimo caso si potrebbe ad esempio confondere la IA di un’auto robotica, spingendola a ignorare il segnale di Stop o a disabilitare i freni.

I modelli di training “open” delle IA a base di machine learning sono sempre più popolari, avvertono infine gli ideatori di BadNet, e alla community impegnata nel settore non resta altro che prendere consapevolezza dei rischi associati a questo genere di tecnologia “intelligente” ma non invulnerabile.

Alfonso Maruccia