VBench: Qualité visuelle

VBench: Qualité visuelle est un benchmark conçu par Vchitect et al. pour évaluer les modèles de génération vidéo à partir de prompts textuels en anglais. Il s’inscrit dans une suite structurée en dimensions fines, consacrées à la qualité visuelle et à l’alignement sémantique.

Ce volet mesure notamment l’esthétique, la qualité d’image, la cohérence visuelle et la fluidité du mouvement. Plusieurs métriques automatiques sont agrégées en un score normalisé, afin de comparer de manière homogène la qualité des vidéos produites par différents modèles.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (62)

Classement établi sur 62 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 82,7 %.

Notre analyse

Un score élevé indique qu’un modèle produit, sur cet ensemble de prompts, des vidéos jugées solides par les métriques automatiques combinant esthétique, qualité d’image, cohérence visuelle et fluidité. Les résultats sont au moins partiellement mesurés par un tiers, ce qui renforce leur valeur comparative par rapport à des scores uniquement auto-déclarés. Le classement reste toutefois lié à la portée précise de VBench: Qualité visuelle, à ses prompts en anglais et à des mesures automatiques. Il ne résume donc pas toutes les dimensions de la génération vidéo, même si la suite VBench couvre également l’alignement sémantique. Le caractère public du jeu appelle aussi à garder à l’esprit un risque de contamination ou d’optimisation ciblée sur ses prompts. Dans la base, la médiane de 83 % et le meilleur résultat de 88 %, obtenu par IPOW, montrent un écart limité entre le centre du classement et son sommet. Cette concentration suggère une certaine saturation du score parmi les modèles évalués et réduit le pouvoir discriminant des écarts les plus faibles.

Sources des scores : vbench.