VideoMME w/o sub.

Créé en 2024 par Chaoyou Fu et ses coauteurs, VideoMME w/o sub. est un benchmark consacré à l’évaluation de la compréhension vidéo par les modèles vision-langage. Il repose sur des QCM portant sur des contenus vidéo variés.

Il mesure notamment le raisonnement temporel, la perception d’événements et la compréhension de scènes longues. Son format permet de comparer la capacité des modèles à traiter des séquences visuelles et à interpréter un contenu multimodal, avec une évaluation centrée ici sur la configuration sans sous-titres.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (10)

Classement établi sur 10 modèles évalués. Score médian de l'ensemble : 79,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur VideoMME w/o sub. traduit une forte proportion de réponses correctes et, plus largement, une bonne capacité à extraire et relier les informations nécessaires dans des vidéos de durées et de domaines variés. Le meilleur résultat recensé, obtenu par Qwen3.5-122B-A10B, reste supérieur à la médiane des dix modèles évalués, ce qui révèle un avantage mesurable sans indiquer une domination absolue. Avec un meilleur score de 84 %, le benchmark conserve une marge avant le maximum, même si des performances globalement élevées peuvent progressivement réduire son pouvoir discriminant. L’interprétation du classement exige aussi de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans un cadre de mesure commun. Le caractère public du jeu peut en outre accroître le risque de contamination au fil du temps. Enfin, sa portée demeure liée à ses QCM en anglais et aux domaines vidéo couverts, ce qui circonscrit les conclusions sur les capacités générales des modèles.

Sources des scores : llm-stats.