Runway ML

Fondée en 2018, Runway développe depuis plusieurs années des logiciels de montage vidéo alimentés par l’IA. Associée au développement de Stable Diffusion, la société se spécialise actuellement dans les outils d’édition de vidéos assistés par intelligence artificielle. Ses outils sont utilisés par des utilisateurs de TikTok et de YouTube ainsi que par des studios de cinéma et de télévision grand public. Les créateurs de The Late Show ainsi que l’équipe des effets visuels derrière le film à succès Everything Everywhere All at Once, primé aux oscars 2023, ont utilisé la technologie de la société pour créer des effets spéciaux et éditer certaines scènes.

Runway ML est une suite d’outils alimentés par l’IA, proposée sous la forme d’une application web pour navigateur, et d’une application mobile disponible sur iOS.

Ecrans de l’application mobile Runway ML sur iPhone.

• Runway ML : 30 outils magiques pour l’image et la vidéo
• Un logiciel de montage vidéo en ligne assisté par IA
• Green Screen Mask : Supprimer et remplacer le fond d’une vidéo
• InPainting : Supprimer un objet gênant dans un plan
• Motion Tracking : Suivez le mouvement d’un élément sur une vidéo
• Text-to-image : Génération d’images à partir de texte
• Infinite Image : étendez vos photos ou images à l’infini !
• Erase and replace : Remplacez un élément de la vidéo par un autre
• Et bien d’autres…
• Plans et tarification
• Version gratuite
• Abonnement Pro
• Abonnement Team
• Conclusion

Runway ML : 30 outils magiques pour l’image et la vidéo

L’application Runway propose pas moins de 30 outils « magiques » basés sur l’intelligence artificielle pour réaliser des effets spéciaux spectaculaires en quelques clics sur des images fixes et des vidéos.

Un logiciel de montage vidéo en ligne assisté par IA

L’éditeur vidéo de Runway ML est digne des meilleurs logiciels de montage. Il embarque de nombreuses fonctionnalités et outils, et permet de travailler de manière simple et efficace avec de multiples pistes audio et vidéo. Il ne nécessite aucune installation puisqu’il fonctionne directement dans votre navigateur, tout comme celui d’Invideo. Runway ML offre même la possibilité de collaborer à plusieurs en temps réel sur un projet vidéo.

Runway ML – Interface de montage vidéo.

Green Screen Mask : Supprimer et remplacer le fond d’une vidéo

Cet outil vous permet de supprimer le fond d’une vidéo et de le remplacer par celui de votre choix. Comme si vous aviez filmé devant un fond vert, mais sur toutes vos vidéos, même sur un fond multicolore. Ouvrez votre vidéo dans l’outil « Green Screen Mask », sélectionnez le sujet que vous souhaitez conserver, et l’IA se charge de supprimer tout le reste, et de le remplacer par le fond de votre choix.

Fond Vert généré par intelligence artificielle

InPainting : Supprimer un objet gênant dans un plan

Vous avez le plan parfait, mais un élément indésirable s’est invité sur votre vidéo (véhicule, passant, graffiti…) ? Avec l’outil InPainting, vous n’avez qu’à le sélectionner sur une image fixe pour le supprimer de toute la vidéo, même s’il est en mouvement. En prime, l’intelligence artificielle regénère le fond qui était caché par l’objet supprimé. Le résultat est assez bluffant et permet de sauver pas mal de plans !

Motion Tracking : Suivez le mouvement d’un élément sur une vidéo

En un clic, vous désignez un objet et l’IA va suivre son mouvement. Vous pourrez alors réaliser des effets suivant la trajectoire de l’objet sélectionné de manière parfaitement fluide et synchronisée. Par exemple, vous pouvez afficher un texte ou une image à côté de l’objet, qui restera fixé sur l’objet tracké tant que ce dernier sera présent dans le champ.

Text-to-image : Génération d’images à partir de texte

Runway dispose d’un outil permettant de générer des images à partir de simples descriptions, à l’instar de MidJourney et Dall-E. Décrivez votre image en quelques mots ou quelques phrases, ajustez les réglages (résolution, style graphique, tonalité…) et lancez la génération d’une image ou d’une série d’images (jusqu’à 500)

Runway – Génération d’images à partir d’un texte.

Infinite Image : étendez vos photos ou images à l’infini !

A partir d’une simple photo, l’intelligence artificielle de Runway génère du contenu pour l’étendre à l’infini. Vous pouvez partir d’une image existante ou générée par l’outil text-to-image, et décrire en quelques mots ce que vous voulez voir apparaitre dans la zone étendue de l’image qui sera générée par l’IA. L’image générée pourra ensuite être téléchargée ou intégrée dans une vidéo.

Runway inpainting et outpainting : complétez une image avec l’IA.

Erase and replace : Remplacez un élément de la vidéo par un autre

Sélectionnez un élément de votre plan, et demandez à Runway de le remplacer par un autre élément. L’intelligence artificielle va remplacer l’objet sélectionné par celui que vous avez décrit sur toute la durée du plan. Dans l’exemple ci-dessous, on demande à l’IA de remplacer une banale voiture par un taxi new-yorkais… A vous d’imaginer tout ce que vous pourrez faire avec !

Runway ML – Suppression d’élément vidéo par l’IA

Et bien d’autres…

Runway ML propose d’autres effets de traitement vidéo parmi lesquels :

• TimeLapse extrême
• Interpolation d’images
• Floutage d’arrière-plan
• Floutage des visages
• Effet Bokeh
• Génération de sous-titres (plusieurs langages dont le français)

Mais aussi des effets de traitement d’images :

• Colorisation d’images
• Variation / modification d’images
• Animation d’images (création de vidéo à partir d’une image fixe)
• Upscaling (amélioration de la définition d’une image)
• Génération de textures 3D

Et également des effets de traitement audio :

• Nettoyage de fichiers audio, suppression de bruits de fond
• Suppression de silences
• Génération de fichiers SRT à partir de vos bandes sons

Il serait trop long de vous présenter tous les outils proposés par Runway ML, mais vous pouvez les découvrir par vous-même. Une chose est sûre, c’est qu’ils vont vous permettre de gagner du temps et vous offriront des possibilités créatives incroyables.

Plans et tarification

Version gratuite

Runway ML propose un plan gratuit qui permet déjà de bien découvrir l’outil et même de s’amuser pour un particulier. Les limitations du plan gratuit sont :

• définition des vidéos limitée à 720p
• maximum 3 projets
• espace de stockage de 5Go pour les assets
• 25 générations d’images par mois*
• Pas d’export en HD ni de textures en 3D

Abonnement Pro

L’abonnement Pro coûte 12$ par mois par utilisateur en paiement annuel (ou 15$ / mois en paiement mensuel). Il offre les avantages suivants :

• export en Full HD et en 2K
• nombre de projets illimités
• espace de stockage de 500 Go pour les assets
• 125 générations d’images par mois*
• export des textures 3D
• travail en équipe, jusqu’à 7 utilisateurs par espace de travail.

Abonnement Team

L’abonnement Team coûte 28$ par mois par utilisateur en paiement annuel ou 35 $ en paiement mensuel. Il offre les avantages de l’abonnement Pro, ainsi que les suivants :

• export en ProRes (4k)
• export en PNG
• espace de stockage de 1To pour les assets
• 450 générations d’images par mois*
• travail en équipe, jusqu’à 15 utilisateurs par espace de travail.

* Lorsque vous avez épuisé votre quota de génération d’images, vous pouvez continuer à utiliser les outils de génération d’images en achetant des crédits. Le coût de la génération d’image par l’IA de Runway dépend du temps d’utilisation des GPU (processeurs de génération graphique), le tarif étant de 5 centimes de dollar par minute d’utilisation de GPU. Le temps nécessaire pour générer une image dépend de sa résolution, de sa complexité et d’autres paramètres tels que le nombre d’itérations. Mais en règle générale, il est largement inférieur à une minute et le prix de génération d’une image au-delà du forfait est donc tout à fait raisonnable.

Conclusion

Runway est sans conteste l’une des solutions de montage vidéo et d’effets spéciaux basés sur l’AI la plus complète et la plus avancée du marché. Son fonctionnement en ligne dans votre navigateur vous permettra de travailler sur vos projets d’où que vous soyez et sans avoir besoin d’une grosse configuration pour faire tourner un logiciel de montage pro

C’est donc une solution économique pour s’initier au montage audio, l’offre gratuite étant tout à fait suffisante pour un usage loisir.

C’est également une bonne solution pour les professionnels, le tarif des offres pro et team étant très abordables au vu de la richesse et de la qualité des outils proposés.

Enfin, Runway innove en permanence et propose régulièrement de nouveaux outils faisant appel aux dernières technologies issues de l’intelligence artificielle. Leur prochaine innovation, GEN-1, va permettre de créer des vidéos incroyables avec des effets spéciaux dignes de Hollywood… A suivre !