MMMU-Pro

MMMU-Pro est un benchmark public conçu en 2024 par l’équipe MMMU, notamment Xiang Yue et Tianyu Zheng. Il évalue la compréhension et le raisonnement multimodaux dans plusieurs disciplines, à partir de contenus combinant texte et image.

Cette version renforce MMMU en écartant les questions pouvant être résolues uniquement par le texte, en augmentant les options proposées et en ajoutant un réglage vision-only, où la question figure dans l’image. Elle vise ainsi une évaluation plus exigeante, proche de scénarios réels, de la capacité des modèles à exploiter effectivement l’information visuelle.

Carte d'identité

Classement des modèles (64)

Classement établi sur 64 modèles évalués, dont 34 de grands éditeurs. Score médian de l'ensemble : 75,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMMU-Pro indique qu’un modèle répond correctement à une forte proportion de QCM multidisciplinaires exigeant une compréhension conjointe du texte et de l’image, y compris lorsque toute l’entrée est visuelle. Le filtrage des questions résolubles par le texte seul, l’augmentation des options et le réglage vision-only rendent l’évaluation plus rigoureuse que MMMU. Dans la base, la médiane de 72 % et le meilleur score de 84 %, obtenu par Gemini 3.5 Flash, montrent une hiérarchie encore perceptible parmi 60 modèles, mais aussi un écart relativement resserré en tête, susceptible de réduire progressivement le pouvoir discriminant du benchmark si les scores continuent d’augmenter. L’interprétation du classement doit toutefois rester prudente, car les résultats sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon un protocole indépendant unique. L’accès public crée également un risque de contamination lors de l’entraînement ou de l’optimisation. Enfin, sa portée reste centrée sur des QCM en anglais et sur les compétences multimodales multidisciplinaires ciblées par ses quelque 1 730 questions.

Sources des scores : llm-stats.