MATH level 5

Epoch: MATH level 5 est une évaluation issue du benchmark MATH, créé par D. Hendrycks et ses coauteurs en 2021. Elle porte sur le sous-ensemble réunissant les problèmes de difficulté maximale, tirés de mathématiques de compétition et accompagnés de solutions.

À travers des questions ouvertes à réponse courte, ce benchmark mesure la capacité des modèles à produire des réponses mathématiques correctes sur des problèmes particulièrement exigeants. Il sert ainsi à comparer leur raisonnement mathématique dans la partie la plus difficile du jeu MATH.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (59)

Classement établi sur 59 modèles évalués, dont 52 de grands éditeurs. Score médian de l'ensemble : 44,8 %.

Notre analyse

Un score élevé indique qu’un modèle résout correctement une forte proportion des problèmes de niveau 5, selon une mesure d’accuracy. La fiabilité du classement est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, plutôt que de reposer uniquement sur des résultats auto-déclarés. Dans la base considérée, la médiane de 56 % et le score de 98 % atteint par GPT-5 montrent un écart important entre la performance centrale des 84 modèles et le meilleur résultat. Cette proximité du score maximal avec 100 % signale aussi un risque de saturation au sommet, susceptible de réduire le pouvoir discriminant du benchmark entre les modèles les plus performants. Comme MATH est public, l’interprétation doit également tenir compte d’un possible enjeu de contamination par exposition aux problèmes. Enfin, la portée reste ciblée : Epoch: MATH level 5 évalue des réponses courtes à des problèmes de mathématiques de compétition en anglais, et non l’ensemble des capacités mathématiques ou générales d’un modèle.

Sources des scores : epoch.