VideoMME w sub.

VideoMME w sub est un benchmark public conçu par Chaoyou Fu et ses coauteurs pour évaluer la compréhension multimodale de vidéos par les modèles d’IA. Il couvre des contenus de durées variées et associe images, sous-titres et audio.

Ses QCM sollicitent notamment le raisonnement temporel, la compréhension visuelle et l’exploitation conjointe des différentes modalités. Le benchmark sert ainsi à comparer la capacité des modèles à analyser des séquences vidéo, à relier des informations dispersées dans le temps et à sélectionner une réponse correcte.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (9)

Classement établi sur 9 modèles évalués, dont 1 de grands éditeurs. Score médian de l'ensemble : 86,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur VideoMME w sub indique une forte réussite aux QCM portant sur la compréhension visuelle et temporelle, ainsi qu’une bonne exploitation des sous-titres et de l’audio. Il ne mesure toutefois que l’accuracy dans ce cadre précis, sur des questions en anglais et des domaines couverts par le jeu. La proximité entre le score médian de 87 % et les 88 % de Qwen3.6-27B suggère un classement resserré parmi les neuf modèles recensés. Cette faible amplitude peut traduire une saturation partielle et réduit le pouvoir discriminant du benchmark au sommet du classement. Qwen3.6-27B arrive en tête, mais son avance limitée appelle une lecture prudente des écarts. La rigueur comparative dépend aussi de la provenance des résultats, puisque les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune. Enfin, l’accès public au benchmark crée un risque de contamination des évaluations si ses contenus sont intégrés aux données d’entraînement. Les résultats caractérisent donc une performance ciblée, sans résumer à eux seuls les capacités vidéo générales d’un modèle.

Sources des scores : llm-stats.