MMLU-Redux

MMLU-Redux est une version améliorée de MMLU, créée en 2024 par Aryo Pradipta Gema et des chercheurs de l’University of Edinburgh. Ses questions ont été ré-annotées manuellement afin d’identifier et de corriger des erreurs présentes dans le jeu original.

Le benchmark mesure les connaissances générales multitâches des modèles de langage dans un large éventail de matières académiques et professionnelles. Son format standardisé permet de comparer leur capacité à sélectionner une réponse correcte, avec une évaluation rendue plus fiable par le travail de correction des données.

Carte d'identité

Classement des modèles (48)

Classement établi sur 48 modèles évalués, dont 7 de grands éditeurs. Score médian de l'ensemble : 90,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMLU-Redux indique une forte exactitude face à des QCM couvrant 57 matières, mais il reflète avant tout la capacité à répondre dans ce cadre précis. La ré-annotation manuelle renforce la rigueur du jeu en corrigeant des problèmes de qualité de MMLU. En revanche, les résultats recensés sont majoritairement auto-déclarés par les éditeurs, ce qui appelle à distinguer la qualité intrinsèque du benchmark des conditions de mesure et de publication des scores.

Avec une médiane de 90 % parmi 48 modèles et un meilleur résultat de 95 % pour Qwen3.7 Max, le classement montre des performances élevées et relativement resserrées en tête. Cette proximité suggère une saturation partielle, qui réduit le pouvoir discriminant entre les meilleurs modèles. L’accès public implique aussi de considérer le risque de contamination lors de l’interprétation. Enfin, la portée reste circonscrite à des questions en anglais, à choix multiples et centrées sur les connaissances académiques et professionnelles. Le classement révèle donc surtout des écarts d’exactitude sur ce périmètre, plutôt qu’une mesure générale de toutes les capacités d’un modèle.

Sources des scores : llm-stats.