MMLU-Pro

Créé en 2024 par TIGER AI Lab, MMLU-Pro est un benchmark public de compréhension multitâche conçu comme une extension plus robuste et plus difficile de MMLU. Il écarte les questions triviales et privilégie des tâches exigeant davantage de raisonnement.

Ses QCM en anglais couvrent 14 domaines et proposent dix réponses possibles, contre quatre dans MMLU. MMLU-Pro sert ainsi à comparer la capacité des modèles à mobiliser leurs connaissances et leur raisonnement face à des problèmes variés, avec un niveau de difficulté plus discriminant.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (125)

Classement établi sur 125 modèles évalués, dont 62 de grands éditeurs. Score médian de l'ensemble : 77,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMLU-Pro indique qu’un modèle répond correctement à une large part de questions difficiles, dans plusieurs domaines, malgré un choix parmi dix options. L’accuracy mesure directement cette réussite, mais ne décrit pas les étapes du raisonnement. Dans la base, 125 modèles atteignent un score médian de 77 %, tandis que Qwen3.7 Max arrive en tête à 90 %. Cet écart révèle une différenciation encore visible entre le modèle dominant et le niveau central, même si la proximité de certains résultats avec le plafond peut progressivement réduire le pouvoir discriminant du classement.

La rigueur d’interprétation dépend aussi de la provenance des scores, majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant commun. L’accès public peut en outre favoriser l’exposition des modèles aux questions, ce qui crée un risque de contamination et peut surestimer leur capacité de généralisation. Enfin, la portée reste circonscrite à des QCM en anglais dans 14 domaines. Le recul de 16 à 33 % par rapport à MMLU confirme toutefois que la sélection de questions plus exigeantes renforce la difficulté de l’évaluation.

Sources des scores : llm-stats.