MMMU (val)

MMMU (val), créé par Xiang Yue et ses collaborateurs en 2023, est l’ensemble de validation du benchmark Massive Multi-discipline Multimodal Understanding and Reasoning. Il rassemble des questions de niveau universitaire associant du texte à différents supports visuels, notamment des diagrammes, tableaux, cartes et graphiques.

Le benchmark mesure la compréhension multimodale et le raisonnement dans un large éventail de disciplines académiques. Ses QCM et questions ouvertes courtes servent à évaluer la capacité des modèles à interpréter conjointement plusieurs formes d’information pour produire une réponse correcte.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (11)

Classement établi sur 11 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 70,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMMU (val) traduit une bonne aptitude à combiner compréhension visuelle, lecture d’énoncés et raisonnement universitaire dans les disciplines couvertes. La métrique d’accuracy mesure directement la proportion de réponses correctes, mais ne décrit pas séparément les performances selon les types d’images, les matières ou les formats de questions.

Dans la base, la médiane des 11 modèles atteint 71 %, tandis que Qwen3 VL 32B Thinking arrive en tête à 78 %. Cet écart de sept points montre un avantage du premier modèle, tout en indiquant un classement relativement resserré autour de scores déjà élevés. Le meilleur résultat reste toutefois éloigné d’une accuracy parfaite, ce qui ne correspond pas à une saturation complète du benchmark.

L’interprétation demande plusieurs précautions. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui offre une rigueur moindre qu’une évaluation intégralement mesurée selon un protocole indépendant et uniforme. L’accès public aux questions crée aussi un risque de contamination. Enfin, les résultats portent sur 900 questions de validation, en anglais, et reflètent spécifiquement les disciplines universitaires, sujets et supports visuels couverts par MMMU.

Sources des scores : llm-stats.