MMLU

MMLU, pour Massive Multitask Language Understanding, est un benchmark créé par D. Hendrycks et ses coauteurs en 2020. Il évalue les connaissances d’un modèle dans des domaines variés, notamment les sciences, les sciences humaines, les sciences sociales et les disciplines professionnelles.

À travers des questions à choix multiple en anglais, MMLU mesure conjointement la compréhension linguistique, les connaissances factuelles et spécialisées, ainsi que le raisonnement en contexte QCM. Il sert ainsi de référence transversale pour comparer les capacités générales des modèles.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (98)

Classement établi sur 98 modèles évalués, dont 62 de grands éditeurs. Score médian de l'ensemble : 81,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé à MMLU indique qu’un modèle répond correctement à une large proportion de questions couvrant des sujets divers. Il reflète donc une combinaison de compréhension linguistique, de restitution de connaissances et de raisonnement dans un cadre QCM. La portée reste toutefois circonscrite à ce format, à l’anglais et aux 57 sujets du jeu, sans résumer à elle seule toutes les capacités d’un modèle.

Dans la base, la médiane de 81 % et le meilleur résultat de 92 %, obtenu par GPT-5 d’OpenAI, montrent un niveau globalement élevé parmi les 98 modèles évalués. Ce resserrement vers le haut peut réduire le pouvoir discriminant du benchmark entre les systèmes les plus performants, ce qui constitue un effet de saturation. L’interprétation du classement exige aussi de la prudence sur le plan méthodologique, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune. Le classement révèle néanmoins les écarts de réussite observés sur ce corpus multidomaine, dans les limites précises de son format et de sa couverture.

Sources des scores : llm-stats.