Cette prochaine IA créera une vidéo à partir d’une simple invite écrite

Pouvons-nous générer plus de contenu Witcher, s’il vous plaît ?

Runway Research vient d’annoncer son prochain modèle d’IA générative, Gen-2, qui donne aux créatifs la possibilité de transformer des mots en vidéos.

Le modèle de génération vidéo Gen-2 de Runaway est formé sur « un ensemble de données interne de 240 millions d’images et un ensemble de données personnalisé de 6,4 millions de clips vidéo ». En d’autres termes, l’ensemble de données est énorme, bien qu’il n’y ait aucune indication quant à savoir si cet ensemble de données personnalisé a été créé en grattant le Web pour le travail des vidéastes. Peut-être pas la meilleure chose à utiliser si vous envisagez de monétiser votre contenu généré.

Pourtant, Runway ressemble à une évolution assez puissante de l’outil Gen-1 que beaucoup utilisent déjà pour le storyboard et les visuels de pré-production. Il est similaire au générateur vidéo AI de Meta, bien que le modèle Gen-2 semble avoir ajouté des modes vraiment intéressants.

Bientôt, l’outil vous permettra de générer une vidéo uniquement à travers du texte. De plus, il existe quelques autres modes que la société ajoute à sa pléthore d’outils de montage vidéo, dont un qui fonctionnera en alimentant l’algorithme d’un clip vidéo et qu’il peut retravailler dans d’autres styles, etc.

Un exemple passionnant dans la vidéo teaser montre un panoramique sur des livres posés sur une table. Le modèle Gen-2 l’a transformé en une scène de ville nocturne où les livres sont devenus des gratte-ciel, et bien que ce ne soit pas le plan le plus réaliste, il semble être un outil puissant pour visualiser des idées.

Le document de recherche qui l’accompagne donne beaucoup plus de détails sur le processus. Il a parcouru un long chemin depuis la conception et il ressort clairement de la vidéo teaser que le facteur de réalisme de sa sortie a connu une augmentation majeure, bien qu’il reste encore du chemin à parcourir avant de pouvoir générer un long métrage Half-Life, par exemple.

Il sera intéressant de voir comment cela se passe et le type de changements qu’il apportera à l’industrie à mesure que ces modèles deviendront de plus en plus avancés. Comme le dit Runway sur sa page à propos « Nous pensons que les techniques d’apprentissage en profondeur appliquées au contenu audiovisuel changeront à jamais l’art, la créativité et les outils de conception. »

Lorsque vous vous inscrivez à Runaway, vous aurez la possibilité de choisir le plan gratuit ainsi que certaines versions payantes, bien qu’il ne semble pas y avoir d’option pour enregistrer l’intérêt pour le modèle Gen-2 pour le moment. Une plongée dans la chaîne Discord a révélé que la société est susceptible de lancer Gen-2 en tant que version bêta ouverte et payante, mais est actuellement un peu submergée d’intérêt.

Espérons que Gen-2 aura également la possibilité de former votre propre générateur vidéo AI personnalisé, autant que vous le pouvez avec de nombreux modèles d’image.

Si vous n’avez pas lu l’article de Dave où il a expliqué le processus de formation d’un modèle Diffusion sur l’art de son oncle, cela peut être un processus plutôt ardu, bien que très gratifiant. Espérons que Runway rendra le processus un peu plus facile.