MMMLU

MMMLU est un benchmark multilingue créé par OpenAI en 2024. Adapté de MMLU, il réunit des questions traduites professionnellement afin d’évaluer des modèles dans plusieurs langues et dans un large éventail de matières.

Ses QCM mesurent conjointement la compréhension linguistique, les connaissances générales et spécialisées, ainsi que le raisonnement multitâche. MMMLU sert ainsi à comparer la capacité des modèles à mobiliser leurs acquis dans différents contextes linguistiques et disciplinaires.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (49)

Classement établi sur 49 modèles évalués, dont 36 de grands éditeurs. Score médian de l'ensemble : 86,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMMLU indique qu’un modèle répond correctement à une forte proportion de QCM couvrant 57 sujets et plusieurs langues. Il traduit donc une bonne performance combinée en compréhension, en connaissances et en raisonnement multitâche, dans le cadre précis de questions à choix multiple. Le niveau médian de 86 % parmi les 49 modèles de la base, avec Claude Mythos Preview en tête à 93 %, révèle des performances globalement élevées et des écarts relativement resserrés au sommet. Cette proximité peut signaler une saturation partielle du benchmark, qui devient alors moins discriminant entre les meilleurs modèles. L’interprétation du classement exige aussi de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon un protocole indépendant commun. Le caractère public du jeu crée par ailleurs un risque de contamination des données d’entraînement. Enfin, MMMLU évalue une portée définie par ses traductions, ses 57 matières et son format QCM, sans résumer à lui seul l’ensemble des capacités d’un modèle.

Sources des scores : llm-stats.