Video-MME

Video-MME est un benchmark public conçu en 2024 par Chaoyou Fu et ses coauteurs pour évaluer la compréhension vidéo des Multi-modal Large Language Models. Il examine notamment leur capacité à raisonner sur les dimensions visuelles et temporelles de vidéos aux formats et durées variés.

L’évaluation repose sur des QCM annotés manuellement par des experts et peut combiner images vidéo, sous-titres et audio. Couvrant plusieurs domaines et des contenus multilingues, Video-MME sert à comparer la manière dont les modèles analysent des séquences courtes comme longues.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (17)

Classement établi sur 17 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 78,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Video-MME indique qu’un modèle répond correctement à une forte proportion de questions portant sur le contenu visuel, le déroulement temporel et, selon la configuration, les sous-titres ou l’audio. L’annotation humaine par des experts renforce la rigueur du jeu d’évaluation. La lecture du classement exige toutefois de la prudence, car les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant commun.

Avec une médiane de 79 % parmi les 17 modèles de la base et un meilleur score de 89 % pour Seed 2.1 Pro de ByteDance, le classement montre un niveau globalement élevé et un écart limité entre le centre de la distribution et la tête. Cette concentration peut réduire progressivement le pouvoir discriminant du benchmark à mesure que les performances approchent du haut de l’échelle. Son accès public implique aussi un risque de contamination à considérer lors de l’interprétation. Enfin, l’accuracy sur des QCM mesure une portée précise, la compréhension multimodale de vidéos dans les domaines, durées et modalités couverts, et non les capacités générales d’un modèle.

Sources des scores : llm-stats.