VBench: Cohérence du sujet

VBench: Cohérence du sujet est une dimension de la suite VBench, créée par Vchitect et al. pour évaluer les modèles de génération vidéo. Elle examine automatiquement des vidéos produites à partir de prompts textuels en anglais.

Le benchmark mesure la capacité d’un modèle texte-vers-vidéo à préserver l’apparence et l’identité du sujet principal d’une image à l’autre. Il contribue ainsi à distinguer la stabilité visuelle du sujet parmi les différentes dimensions de qualité et d’alignement couvertes par VBench.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (62)

Classement établi sur 62 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 96,7 %.

Notre analyse

Un score élevé indique que les caractéristiques visuelles du sujet restent très similaires au fil de la vidéo. Cette cohérence est quantifiée par la similarité de caractéristiques DINO entre les images, puis normalisée entre 0 et 1. Les résultats présentent une assise plus solide que de simples déclarations des créateurs de modèles, puisqu’ils sont au moins partiellement mesurés par un tiers. Le classement montre toutefois une forte concentration en haut de l’échelle : avec une médiane de 97 % sur 62 modèles et Open-Sora-2.0 à 99 %, la métrique apparaît proche de la saturation et différencie peu les meilleures performances. Son interprétation doit rester limitée à sa portée précise, la stabilité visuelle du sujet dans des vidéos issues de prompts en anglais, et non à l’ensemble de la qualité vidéo ou de l’alignement. Enfin, l’accès public au benchmark rend pertinente la vigilance face à une possible exposition des modèles au protocole d’évaluation, susceptible d’influencer la lecture comparative des scores.

Sources des scores : vbench.