Alfonso Maruccia

BadNet, la IA con backdoor incorporata

I ricercatori ipotizzano l'esistenza di una vulnerabilità "sistemica" all'interno degli algoritmi di machine learning, una tecnologia che può "imparare" anche a comportarsi in maniera malevola con gli stimoli digitali adeguati

Roma - I sistemi di intelligenza artificiale basati su algoritmi di machine learning sono vulnerabili all'implementazione di vere e proprie backdoor, o almeno questo e quello che ipotizzano i ricercatori che hanno identificato l'esistenza potenziale delle cosiddette BadNet. Reti "intelligenti" e apparentemente normali, che però al loro interno possono nascondere una sorpresa ben poco piacevole per gli utenti e la community.

Una BadNet è una "rete addestrata con intenti malevoli", spiegano i ricercatori, un problema molto più concreto di quanto si possa pensare a causa del fatto che la stragrande maggioranza delle IA capaci di auto-apprendere sono oggi "appaltate" a piattaforme cloud esterne (Google, Microsoft, Amazon ecc.) - le sole in grado di fornire la potenza computazionale e le risorse di storage/rete necessarie.

Gli algoritmi di machine learning di una piattaforma di terze parti non possono essere analizzati in prima persona, avvertono gli esperti, e quindi non è possibile verificare l'eventuale presenza di tendenze o comportamenti malevoli. La sicurezza è un interrogativo, come d'altronde tutto il resto quando si parla di strumenti informatici forniti "come servizio" dalle corporazioni grandi e piccole attive su Internet.
I set di dati forniti a tali piattaforme possono essere "avvelenati", dicono ancora i ricercatori, in uno scenario in cui il processo di training della IA viene sub-appaltato a un altro soggetto terzo interessato a implementare la backdoor; la IA di un sistema di identificazione biometrica può ad esempio essere addestrata a ignorare alcune facce, permettendo ad un ladro (ovviamente hi-tech) di penetrare in un edificio senza allertare i sistemi di sicurezza.

Le IA con backdoor e sensori visivi sono poi facili da abusare con l'utilizzo di "trigger" o particolari rivelatori, spiegano i ricercatori, inserendo ad esempio una piccola "x" in basso a destra in un sistema di riconoscimento della calligrafia o, peggio ancora, servendosi di post-it appiccicati sui segnali di Stop ai bordi della carreggiata; in quest'ultimo caso si potrebbe ad esempio confondere la IA di un'auto robotica, spingendola a ignorare il segnale di Stop o a disabilitare i freni.

I modelli di training "open" delle IA a base di machine learning sono sempre più popolari, avvertono infine gli ideatori di BadNet, e alla community impegnata nel settore non resta altro che prendere consapevolezza dei rischi associati a questo genere di tecnologia "intelligente" ma non invulnerabile.

Alfonso Maruccia
Notizie collegate
  • TecnologiaFacebook, stop AI per timore Skynet?Alcuni bot sperimentali addestrati per negoziare con l'essere umano hanno sviluppato un proprio linguaggio incomprensibile all'uomo. Facebook sospende il test - UPDATE
  • TecnologiaGoogle e il fotoritocco in tempo realeI ricercatori del MIT sono riusciti a migliorare l'estetica delle fotografie elaborate tramite algoritmi di Google. L'applicazione, dotata di machine learning, è in grado di processare le immagini decine di volte più velocemente rispetto alle attuali soluzioni
3 Commenti alla Notizia BadNet, la IA con backdoor incorporata
Ordina