Stability AI sta ampliando la sua crescente gamma di modelli di AI generativi, aggiungendo letteralmente una nuova dimensione con il debutto di Stable Video 4D.
Mentre esistono già diversi strumenti di AI per la generazione di video, come Sora, Runway, Haiper e Dream Machine di Luma AI, che appena aggiunto una funzione per creare video in loop, Stable Video 4D si distingue per la sua capacità di generare video da 8 prospettive diverse a partire da un singolo video.
I casi d’uso
Secondo Varun Jampani, che guida il team di ricerca 3D di Stability AI, questa nuova tecnologia ha un grande potenziale di applicazione in diversi settori. Ad esempio, nell’industria cinematografica potrebbe essere molto utile per generare nuovi punti di vista e prospettive di scene già girate, aggiungendo profondità e nuove possibilità creative al montaggio.
Anche nell’ambito dei videogiochi e della realtà virtuale/aumentata, permetterebbe di esplorare in modo più immersivo ambienti 3D rendendoli “navigabili” attraverso nuove angolazioni generate dall’intelligenza artificiale. In generale, ovunque ci sia l’esigenza di mostrare oggetti in movimento 3D da diverse angolazioni arbitrarie, questa tecnologia può rivelarsi molto preziosa per ampliare le possibilità visive e creative.
Oltre il 3D: la quarta dimensione di Stable Video 4D
Il nuovo modello per la generazione video AI non è la prima incursione di Stability AI nel mondo oltre lo spazio 2D. A marzo, l’azienda aveva già annunciato Stable Video 3D, che consente agli utenti di generare brevi video 3D a partire da un’immagine o da un testo. Tuttavia, Stable Video 4D compie un significativo passo avanti, introducendo la quarta dimensione.
Secondo Jampani, le quattro dimensioni comprendono larghezza (x), altezza (y), profondità (z) e tempo (t). Ciò significa che Stable Video 4D è in grado di visualizzare un oggetto 3D in movimento da diverse angolazioni della telecamera e in diversi momenti.
Jampani ha spiegato che l’approccio di Stable Video 4D è diverso dall’infill/outfill generativo, in cui le reti completano tipicamente le informazioni parzialmente date. Invece di trasferire esplicitamente informazioni dall’immagine di ingresso, Stable Video 4D sintetizza completamente i video di 8 nuove visioni da zero, utilizzando il video di ingresso originale come guida.
Disponibilità
Stable Video 4D è attualmente disponibile per la valutazione della ricerca su Hugging Face, ma Stability AI non ha ancora annunciato quali opzioni commerciali saranno disponibili in futuro. Jampani ha dichiarato che Stable Video 4D è già in grado di elaborare video di diversi secondi con un singolo oggetto e uno sfondo semplice, e che l’azienda ha in programma di generalizzarlo a video più lunghi e a scene più complesse.
Ti potrebbe interessare
25 lug 2024