MarioVGG crea gioco di Super Mario con l'AI

Un’azienda specializzata nello sviluppo di personaggi dotati di intelligenza artificiale per i videogiochi, Virtual Protocols, ha recentemente presentato un progetto di ricerca chiamato MarioVGG. Questo progetto utilizza la generazione text-to-video per ricreare una versione del famoso gioco Nintendo del 1985, Super Mario Bros.

L’AI generativa ricrea il classico Super Mario Bros.

Il documento di ricerca di Virtual Protocols sostiene che i generatori di video AI mostrano un potenziale significativo nell’offrire un nuovo approccio allo sviluppo dei videogiochi. MarioVGG, addestrato su una singola GPU di fascia consumer (una Nvidia RTX 4090), è in grado di generare fotogrammi di gioco controllabili che risultano coerenti e seguono le meccaniche di gioco originali.

Come è stato addestrato MarivoVGG

Per sviluppare MarioVGG, il modello di intelligenza artificiale è stato addestrato su un dataset di 737.000 fotogrammi estratti da una sessione di Super Mario Bros. Durante l’addestramento, sono stati identificati i fotogrammi in cui il protagonista Mario esegue azioni specifiche, come correre o saltare. Successivamente, il modello è stato istruito a generare immagini che imitano il gioco Nintendo sulla base di un input testuale fornito dal giocatore, come “corri” o “salta”.

Prestazioni e limiti di MarioVGG

Sebbene MarioVGG sia in grado di simulare accuratamente l’esperienza di Mario in 2D, incluse le varie meccaniche di gioco, presenta ancora alcuni limiti. Il modello richiede circa 4 secondi per generare una sequenza video di 6 fotogrammi durante l’inferenza, e la risoluzione dei fotogrammi generati è inferiore a quella dei giochi Nintendo dell’epoca.

Inoltre, quando genera i fotogrammi video, non segue fedelmente tutte le meccaniche e le regole originali del gioco. Ad esempio, i livelli e gli oggetti che compaiono nei video sono creati in modo casuale dall’intelligenza artificiale e non sono direttamente controllabili come in un vero gioco. Inoltre, quando Mario “muore” nelle clip generate, il modello continua semplicemente a renderizzare i fotogrammi successivi invece di riportare il personaggio all’ultimo checkpoint raggiunto come accadrebbe normalmente.

Simulazione delle meccaniche di gioco

È chiaro che l’intelligenza artificiale emula l’aspetto visivo ignorando alcune meccaniche di gioco, ma nonostante i limiti, MarioVGG dimostra di essere in grado di simulare con successo le meccaniche gravitazionali del gioco. Il video generato mostra Mario che cade da una piattaforma quando viene utilizzata l’azione “Corri”, mantenendo al contempo la coerenza dell’ambiente circostante e generando nuove tessere coerenti. Inoltre, il modello è in grado di generare livelli unici di Mario, con il primo fotogramma di input che funge da unico riferimento.