VideoPoet di Google può generare video dal testo

Google ha presentato la sua nuova intelligenza artificiale VideoPoet, un modello linguistico di grandi dimensioni (LLM) che può creare video a partire da una semplice descrizione testuale. Si tratta di una tecnologia innovativa e diversa da quella dei generatori di video tradizionali come Runway, che si basano su modelli pre-addestrati e specializzati per ogni aspetto del video (immagini, audio, ecc.).

VideoPoet, invece, utilizza un solo modello linguistico, che impara a generare video in modo integrato e ottimizzato. Grazie a un vasto set di dati provenienti da diverse fonti, l’AI di Google produce video coerenti e di alta qualità visiva.

Introducing VideoPoet, a large language model for zero-shot video generation that produces a range of large & smooth motions while preserving objects’ appearance over multiple seconds. Learn more and check out a range of example generated videos → https://t.co/jdqehGruLE pic.twitter.com/sQ4z9D7l4O

— Google AI (@GoogleAI) December 19, 2023

Le funzionalità avanzate del nuovo generatore di video di Google

VideoPoet è in grado di generare video con movimenti ampi e fluidi, a differenza dei generatori di video esistenti, che producono oggetti visivi indesiderati quando i movimenti sono troppo grandi. Offre anche agli utenti la possibilità di modificare e personalizzare i video generati, aggiungendo effetti stilistici, riempiendo o estendendo le aree del video, creando colonne sonore realistiche e simulando movimenti della telecamera.

Inoltre, VideoPoet può collegare tra loro diverse clip brevi per creare video lunghi, adatti a diversi scopi, come tutorial, video musicali o cortometraggi. È in grado persino di generare video in formato verticale, ideali per le piattaforme social come TikTok.

Il potenziale di VideoPoet

I ricercatori di Google hanno confrontato VideoPoet con altri generatori di video usando vari criteri di valutazione, e hanno dimostrato che VideoPoet vanta una qualità maggiore e prestazioni migliori rispetto ai suoi concorrenti. Rappresenta quindi una svolta nel campo dell’intelligenza artificiale generativa, e potrebbe avere un impatto importante sui settori del cinema, dell’intrattenimento e dell’e-commerce.