MMMU

Créé par Xiang Yue et ses coauteurs en 2023, MMMU, pour Massive Multi-discipline Multimodal Understanding, est un benchmark consacré à l’évaluation de modèles multimodaux sur des contenus de niveau universitaire.

Ses questions associent texte et images afin de mesurer simultanément la compréhension multimodale, les connaissances dans de nombreuses disciplines et le raisonnement délibéré. Issues d’examens, de quiz et de manuels, elles couvrent notamment les sciences, la santé, les sciences humaines, le commerce, les arts et l’ingénierie. MMMU sert ainsi à comparer la capacité des modèles à mobiliser plusieurs formes d’information dans des contextes académiques variés.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (61)

Classement établi sur 61 modèles évalués, dont 47 de grands éditeurs. Score médian de l'ensemble : 70,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMMU indique qu’un modèle fournit fréquemment la réponse attendue à des QCM et à des questions ouvertes courtes combinant texte et image. Il reflète donc une performance conjointe en perception multimodale, connaissances universitaires et raisonnement, sans isoler la contribution de chacune de ces capacités. Le classement de 61 modèles montre une dispersion notable entre une médiane de 70 % et le meilleur résultat, 86 % pour Qwen3.6 Plus. Cet écart signale une avance du premier modèle, mais aussi une marge avant une éventuelle saturation du benchmark.

La comparaison demande toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant commun. La provenance des questions, tirées d’examens, de quiz et de manuels, fait également de la contamination des données d’entraînement un point de vigilance. Enfin, la portée du résultat reste celle de MMMU : des contenus en anglais, de niveau universitaire, répartis entre six grandes disciplines. L’accuracy résume la réussite globale, mais ne détaille pas les écarts entre matières, formats de questions ou types de raisonnement.

Sources des scores : llm-stats.