VBench: Respect du prompt

VBench: Respect du prompt est un benchmark public conçu par OpenGVLab, Shanghai AI Laboratory et d’autres contributeurs pour évaluer les modèles de génération vidéo. Il appartient à VBench, une suite organisée autour de plusieurs dimensions de qualité visuelle et de fidélité aux instructions.

Cette composante mesure l’alignement sémantique entre une vidéo générée et son prompt textuel en anglais. Elle examine notamment la présence des objets, les actions, les relations spatiales, les scènes et les styles demandés, afin de comparer la capacité des modèles à traduire fidèlement une consigne en vidéo.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (62)

Classement établi sur 62 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 73,4 %.

Notre analyse

Un score élevé indique qu’un modèle restitue avec constance le contenu sémantique des prompts, au-delà de la seule qualité visuelle. L’évaluation automatique facilite une comparaison homogène sur un ensemble étendu de consignes, tandis que la mesure au moins partielle par un tiers renforce la fiabilité du classement par rapport à des résultats uniquement auto-déclarés. Cette méthode reste toutefois centrée sur les dimensions sémantiques agrégées par le semantic score. Elle ne résume donc pas, à elle seule, toutes les qualités d’une vidéo générée. La normalisation entre 0 et 1 peut aussi réduire la différenciation si plusieurs systèmes se rapprochent du plafond. Le caractère public de VBench appelle par ailleurs à considérer le risque d’exposition préalable aux prompts lors de l’interprétation des performances. Parmi les 62 modèles recensés, une médiane à 73 % et un meilleur résultat de 90 % pour IPOW montrent un écart notable entre le niveau central et la tête du classement, sans saturation complète du benchmark.

Sources des scores : vbench.