Backdoor nascoste nei modelli IA su Hugging Face

I ricercatori di JFrog ha trovato su Hugging Face oltre 100 modelli IA che nascondono backdoor. Quando gli utenti (principalmente sviluppatori) usano il modello sui loro computer, il codice infetto viene eseguito e permette ai cybercriminali di accedere da remoto per rubare dati o di attuare campagne di spionaggio.

Il lato negativo dell’open source

Hugging Face è un’azienda statunitense che offre una piattaforma per la condivisione dei modelli open source di machine learning, natural language processing e intelligenza artificiale, inclusi quelli di IA generativa. Si potrebbe definire una versione specializzata di GitHub. Da quest’ultimo ha “ereditato” uno dei principali problemi.

Hugging Face ha implementato diverse misure che prevedono la scansione dei file caricati per individuare la presenza di malware o informazioni sensibili. Purtroppo la piattaforma non garantisce la sicurezza assoluta, come dimostra la scoperta dei ricercatori di JFrog.

Utilizzando un avanzato sistema di scansione sono stati individuati circa 100 modelli con codice infetto, la maggioranza dei quali sono modelli PyTorch. Uno dei più recenti, rimosso da Hugging Face, nascondeva un payload che permette di aprire una connessione reverse shell ad un server esterno. In pratica è una backdoor che consente di accedere ai computer degli utenti.

Come detto, i file del modello sono stati eliminati, ma JFrog ha trovato altre istanze dello stesso payload in un altro modello con differenti indirizzi IP del server. Hugging Face non ha ancora rimosso il modello, ma ha aggiunto un avviso “non sicuro”, indicando che non deve essere scaricato.