VideoMMMU

VideoMMMU est un benchmark créé en 2025 par EvolvingLMMs-Lab pour évaluer la capacité des grands modèles multimodaux à acquérir des connaissances à partir de vidéos professionnelles de niveau expert.

Son protocole organise les questions-réponses selon trois stades cognitifs complémentaires : perception, compréhension et adaptation. Il examine ainsi la faculté d’un modèle à extraire des informations, à en saisir le sens, puis à mobiliser les connaissances acquises dans plusieurs disciplines, plutôt que de mesurer uniquement la reconnaissance de contenus audiovisuels.

Carte d'identité

Classement des modèles (26)

Classement établi sur 26 modèles évalués, dont 8 de grands éditeurs. Score médian de l'ensemble : 82,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle répond correctement à une large part des questions portant sur des vidéos expertes et maîtrise les trois stades évalués. L’exactitude mesure la réussite aux questions, tandis que Delta-knowledge vise le gain de connaissance associé au visionnage. Le classement montre un niveau global élevé : la médiane atteint 83 %, contre 88 % pour Gemini 3 Pro, premier parmi les 26 modèles recensés. Cet écart limité de cinq points suggère une différenciation relativement resserrée au sommet et un possible effet de saturation.

La portée reste circonscrite à des contenus en anglais, répartis entre six disciplines et trente sujets. Le caractère public du jeu appelle aussi à interpréter les performances avec prudence face au risque de contamination, sans établir qu’une telle contamination a eu lieu. Enfin, la fiabilité comparative est limitée par l’origine des résultats : les scores sont majoritairement auto-déclarés par les éditeurs, plutôt qu’obtenus dans le cadre d’une mesure indépendante et homogène.

Sources des scores : llm-stats.