VBench: Total

VBench: Total est une suite publique d’évaluation conçue en 2023 par Vchitect, Shanghai AI Laboratory et d’autres contributeurs. Elle cible les modèles génératifs vidéo, en particulier les systèmes de texte vers vidéo, à partir de prompts en anglais.

Le benchmark mesure automatiquement plusieurs dimensions complémentaires, dont la qualité visuelle, la cohérence du sujet et de l’arrière-plan, le mouvement, la cohérence temporelle et la correspondance avec le texte. Son score agrégé fournit une mesure synthétique pour comparer les capacités globales des modèles.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (62)

Classement établi sur 62 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 81,6 %.

Notre analyse

Un score élevé sur VBench: Total indique de bonnes performances agrégées sur les dimensions visuelles, sémantiques et temporelles couvertes. Il ne signifie pas nécessairement qu’un modèle domine chacune d’elles, car le résultat normalisé fusionne plusieurs métriques automatiques en une seule valeur. La fiabilité bénéficie du fait que les scores sont au moins partiellement mesurés par un tiers, plutôt que de reposer uniquement sur des déclarations des concepteurs. L’automatisation favorise une comparaison homogène, mais limite aussi l’interprétation à ce que les métriques retenues savent mesurer. La portée reste centrée sur la génération vidéo, notamment depuis des prompts en anglais. Dans la base de 62 modèles, une médiane à 82 % et un meilleur résultat de 88 % pour IPOW montrent un écart de six points entre le centre du classement et sa tête. Ce resserrement suggère une différenciation relativement limitée dans la partie supérieure et invite à examiner les dimensions détaillées, le score total pouvant masquer des profils de performance distincts.

Sources des scores : vbench.