Fugatto di Nvidia, l'AI che genera suoni mai sentiti prima

Nvidia ha presentato Fugatto, un nuovo generatore audio basato sull’intelligenza artificiale in grado di creare musica, suoni e parlato partendo da input testuali e audio su cui non è stato addestrato. Questa caratteristica consente a Fugatto di comporre brani musicali basati su richieste bizzarre, come un sassofono che ulula o musica elettronica con cani che abbaiano.

Il generatore di suoni AI Fugatto di Nvidia

Tra le potenzialità di Fugatto spicca la capacità di produrre effetti sonori unici a partire da una semplice descrizione, come “Pulsazioni di bassi profondi e rombanti abbinati a cinguettii digitali intermittenti e acuti, come il suono di una massiccia macchina senziente che si risveglia“.

L’IA può anche trasformare il tono di voce di una persona, modificandone l’accento o conferendole un tono diverso, come arrabbiato o calmo. Non mancano funzioni di editing musicale: Fugatto può isolare le parti vocali di una canzone, aggiungere strumenti e persino modificare una melodia sostituendo un pianoforte con un cantante d’opera!

Un dataset di milioni di campioni audio

Per realizzare Fugatto, i ricercatori di Nvidia hanno dovuto assemblare un dataset contenente milioni di campioni audio, tra cui una libreria di effetti sonori della BBC. Sono state poi create istruzioni che hanno notevolmente ampliato la gamma di attività eseguibili dal modello, migliorandone al contempo l’accuratezza e consentendo nuove funzionalità senza richiedere dati aggiuntivi.

L’affollato panorama degli strumenti AI per l’audio

Esistono già diversi altri strumenti audio di intelligenza artificiale, tra cui quelli di Stability AI, OpenAI, Google DeepMind, ElevenLabs e Adobe. Tuttavia, nessuno di questi ha mai affermato di poter creare suoni completamente nuovi e inediti.

Alcune startup di AI come Suno, stanno affrontando cause per violazione del copyright legate ai loro generatori di musica, mentre un recente rapporto ha rivelato che Nvidia e altre aziende hanno addestrato i loro modelli di intelligenza artificiale utilizzando migliaia di video di YouTube.

Nvidia non ha specificato quando – o se – Fugatto sarà disponibile al pubblico.