VBench: Créativité (VBench 2.0)

VBench: Créativité (VBench 2.0), créé par Vchitect et al., est un benchmark consacré aux modèles de génération vidéo. À partir de prompts textuels en anglais, il évalue automatiquement leur capacité à produire des vidéos créatives, originales et variées.

Cette composante de VBench 2.0 se concentre sur le caractère inventif ou non conventionnel des résultats générés. Elle complète les autres dimensions de qualité et d’alignement de la suite en fournissant un indicateur normalisé permettant de comparer la créativité des modèles vidéo.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (12)

Classement établi sur 12 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 52,4 %.

Notre analyse

Un score élevé indique qu’un modèle produit, selon l’évaluation automatisée, des vidéos jugées plus inventives, originales ou non conventionnelles à partir des prompts proposés. Cette mesure reste circonscrite à la définition opérationnelle de la créativité retenue par VBench 2.0 et à des requêtes en anglais. Elle ne résume donc pas, à elle seule, toutes les dimensions de qualité ou d’alignement d’un générateur vidéo.

La fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, plutôt que seulement auto-déclarés par les fournisseurs. L’automatisation favorise une comparaison homogène, mais ramène nécessairement une notion subjective comme la créativité à un score normalisé. L’accès public invite aussi à considérer le risque de contamination lors de l’interprétation des performances. Sur les douze modèles évalués, veo-3 de Google atteint 61 %, contre une médiane de 52 %. Cet écart montre un avantage mesurable du premier modèle, sans signe de saturation au sommet de l’échelle 0–1. Le classement distingue ainsi les modèles sur cette dimension précise, et non sur l’ensemble de leurs capacités vidéo.

Sources des scores : vbench.