MMLU-ProX

MMLU-ProX est un benchmark public créé en 2025 par l’équipe MMLU-ProX, menée par Weihao Xuan. Extension de MMLU-Pro fondée sur le cadre Massive Multitask Language Understanding, il rassemble des QCM difficiles et parallèles dans plusieurs langues, avec un format étendu pouvant approcher dix options.

Il mesure les capacités multidisciplinaires avancées des modèles dans des domaines académiques et professionnels, ainsi que leur raisonnement translingue. Son rôle est de comparer, par l’exactitude des réponses, la maîtrise de connaissances complexes et leur mobilisation dans un cadre multilingue.

Carte d'identité

Classement des modèles (32)

Classement établi sur 32 modèles évalués, dont 7 de grands éditeurs. Score médian de l'ensemble : 76,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMLU-ProX indique qu’un modèle répond correctement à une forte proportion de QCM difficiles, dans plusieurs langues et domaines, tout en mobilisant un raisonnement translingue. Dans la base, la médiane atteint 76 %, tandis que Qwen3.7 Max obtient 87 %. Cet écart montre que le classement distingue encore le meilleur résultat du niveau central des 32 modèles évalués, sans saturation complète au sommet.

L’interprétation exige toutefois de la prudence. Les scores sont majoritairement auto-déclarés par les éditeurs, plutôt qu’établis selon une mesure indépendante uniforme. Cette situation peut réduire la comparabilité si les conditions d’évaluation diffèrent. Le caractère public du jeu appelle aussi à considérer le risque de contamination lors de l’analyse des performances. Enfin, la portée reste celle de QCM académiques et professionnels parallèles entre langues. Un bon classement renseigne donc précisément sur l’exactitude dans ce cadre, mais ne constitue pas à lui seul une mesure générale de toutes les capacités d’un modèle.

Sources des scores : llm-stats.