Lo spin-off Stable Diffusion AI ti consentirà di creare strani video da prompt di testo

In netto contrasto con le IA generative da testo a immagine, non c’è quasi nulla disponibile per i video. Ma ciò potrebbe presto cambiare poiché la startup Runway ha recentemente rivelato il suo nuovo modello di intelligenza artificiale: Gen-2.

Funzionando in modo simile a Stable Diffusion (che Runway ha contribuito a creare, tra l’altro), Gen-2 funziona prendendo in considerazione le richieste di testo per creare video da zero. Come visto sul sito web dello sviluppatore, puoi creare riprese aeree di una catena montuosa o di un tramonto fuori da un loft di New York. Un aggiornamento da testo a video potrebbe non sembrare così impressionante all’inizio, ma lo è se lo confronti con il precedente sforzo di Runway.

A febbraio, lo sviluppatore ha lanciato il suo Modello di prima generazione che era più un editor video. Richiedeva una sorta di base, come un’animazione 3D incompiuta o una persona, prima che il modello sovrapponesse quel filmato con un video creato dall’intelligenza artificiale. La vecchia intelligenza artificiale non poteva creare nulla da zero.

Modalità AI

I fan del vecchio modello potranno continuare a godersi la Gen-1 poiché le sue funzionalità diventeranno modalità separate nella Gen-2.

La modalità 01, tuttavia, è il principale componente della funzionalità di testo in video. La seconda nuova modalità consente di aggiungere un’immagine a un prompt di testo per produrre risultati migliori. E con la terza modalità, devi solo caricare un’immagine per generare un video. Non sarà richiesto un prompt di testo.

Tutto ciò che va oltre la modalità 03 è tutto Roba da gen 1. Modalità 04: Stilizzazione applica gli “stili di qualsiasi immagine richiesta a ogni fotogramma del tuo video” come l’aggiunta di un effetto infuocato. Modalità 05: Storyboard trasforma il filmato di simulazione in video con rendering AI. Il prossimo è Mask per isolare i soggetti e modificarli con semplici suggerimenti come “Aggiungi macchie a un labrador per creare un dalmata”. Il settimo è Render in cui l’IA genera un video su un rendering 3D. L’ultimo, Customization, fa la stessa cosa di Render, ma con le persone.

Disponibilità

Questa tecnologia è ancora nelle sue fasi iniziali. Le anteprime della bobina demo sono piuttosto strane, per non dire altro. Sono nel profondo della valle misteriosa mentre gli edifici si fondono l’uno nell’altro e le persone sfoggiano sguardi vacui. Anche così, la possibilità di avere un’IA generativa text-to-video pubblicamente disponibile è entusiasmante. Può aprire nuove strade alla creatività (o alla disinformazione). Alcuni giganti della tecnologia si sono già dilettati con i video AI, ad esempio Google e il suo progetto Imagen Videoma quei modelli sono ancora a porte chiuse.

Alcuni rapporti affermano che c’è una lista d’attesa per l’accesso anticipato a Gen-2 sul canale Discord privato di Runway. Tuttavia, l’unica beta che abbiamo trovato è per Gen-1. È possibile che ci sarà una beta Gen-2 più avanti nel corso dell’anno, anche se al momento non ci sono notizie ufficiali. Nel frattempo, puoi unirti al canale Discord per gli aggiornamenti tramite il sito web di Runway.