VBench: Stabilité temporelle

VBench: Stabilité temporelle est une dimension de la suite publique VBench, créée par Vchitect et Huang et al. pour évaluer les modèles de génération vidéo. Elle examine automatiquement la cohérence visuelle entre les images successives d’une vidéo produite à partir de prompts textuels en anglais.

Le benchmark mesure plus précisément l’absence de scintillement et de variations incohérentes d’apparence. Il permet ainsi d’isoler la stabilité temporelle parmi les différentes dimensions de qualité couvertes par VBench et de comparer les modèles selon un critère commun.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (62)

Classement établi sur 62 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 99,0 %.

Notre analyse

Un score VBench Temporal Flickering élevé, sur une échelle normalisée de 0 à 1, indique que l’apparence varie peu de manière incohérente entre les images successives. L’évaluation automatique fournit une mesure homogène, et la fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, plutôt que seulement auto-déclarés. Le classement montre toutefois une forte saturation: la médiane des 62 modèles atteint 99 %, tandis que Pika Beta obtient 100 %. Des résultats aussi resserrés limitent la capacité de cette dimension à départager finement les systèmes les plus performants. La portée reste ciblée sur le scintillement temporel et ne résume donc pas l’ensemble de la qualité vidéo, VBench couvrant plusieurs dimensions distinctes. Comme l’accès au benchmark est public, l’interprétation doit aussi tenir compte d’une possible exposition des modèles au dispositif d’évaluation. Le classement révèle surtout que la stabilité image par image est très élevée pour une large partie des modèles recensés, avec peu d’écart jusqu’au meilleur score.

Sources des scores : vbench.