MATH

Publié en 2021 par D. Hendrycks et ses coauteurs, MATH est un benchmark consacré à la résolution de problèmes issus de concours de mathématiques. Ses questions ouvertes exigent une réponse courte, accompagnée dans le jeu de données d’une solution détaillée étape par étape.

MATH évalue le raisonnement multi-étapes, la manipulation symbolique et la maîtrise de plusieurs domaines, notamment l’algèbre, la géométrie, la théorie des nombres, les probabilités et le pré-calcul. Il sert à comparer la capacité des modèles à produire une réponse finale exacte sur des problèmes difficiles et de niveaux variés.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (70)

Classement établi sur 70 modèles évalués, dont 54 de grands éditeurs. Score médian de l'ensemble : 71,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MATH indique qu’un modèle fournit fréquemment la réponse finale exacte à des problèmes de concours nécessitant plusieurs étapes de raisonnement. L’exact match impose une validation stricte du résultat final, mais ne mesure pas directement la qualité du raisonnement produit, même si chaque problème possède une solution détaillée de référence.

Dans la base, la médiane de 71 % sur 70 modèles traduit des performances déjà solides, tandis que les 98 % de o3-mini placent le meilleur résultat près du plafond. Cette proximité suggère une saturation au sommet du classement, où de faibles écarts deviennent moins discriminants. La fiabilité comparative doit aussi être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante unique. Le caractère public du jeu crée par ailleurs un risque de contamination des évaluations. Enfin, MATH porte uniquement sur des problèmes en anglais et sur sept domaines mathématiques de niveau concours. Son classement renseigne donc sur cette capacité ciblée, et non sur l’ensemble des aptitudes d’un modèle.

Sources des scores : llm-stats.