MVBench

MVBench est un benchmark public de compréhension vidéo multimodale créé en 2023 par OpenGVLab, le Shanghai AI Laboratory et d’autres contributeurs. Il réunit des tâches vidéo conçues à partir d’annotations existantes selon une méthode de génération allant du statique au dynamique.

Le benchmark évalue des capacités qui dépassent l’analyse d’une image isolée, notamment la reconnaissance d’actions, les raisonnements temporel, spatial et causal, les interactions entre objets et les transitions de scènes. Il sert ainsi à comparer la faculté des modèles à relier perception et cognition dans des séquences vidéo.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (17)

Classement établi sur 17 modèles évalués. Score médian de l'ensemble : 72,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MVBench indique qu’un modèle répond correctement à une large proportion de QCM en anglais portant sur les vingt tâches vidéo couvertes. Il traduit donc une bonne performance agrégée en compréhension temporelle, spatiale et causale, sans constituer une mesure générale de toutes les capacités multimodales. La portée reste circonscrite au format QCM, à l’anglais et aux catégories de tâches intégrées au benchmark.

Dans la base, la médiane atteint 72 %, tandis que Qwen3.5-122B-A10B obtient 77 %. Cet écart limité suggère un classement relativement resserré parmi les modèles évalués et peut signaler un risque de saturation si les performances continuent de progresser. La publicité du jeu crée aussi un risque de contamination lors de l’entraînement ou de l’optimisation des modèles. Enfin, les scores étant majoritairement auto-déclarés par les éditeurs, leur comparaison dépend de la fidélité des protocoles appliqués. Le classement renseigne surtout sur les performances rapportées dans ce cadre précis, plutôt que sur une supériorité universelle en compréhension vidéo.

Sources des scores : llm-stats.