MATH-500

MATH-500 est un sous-ensemble du jeu MATH consacré à 500 problèmes exigeants issus de compétitions mathématiques. Créé par OpenAI, dans les travaux de H. Lightman et al. à partir du corpus de D. Hendrycks et al., il couvre plusieurs niveaux de difficulté et sept domaines mathématiques.

Le benchmark évalue la capacité des modèles à résoudre des questions ouvertes à réponse courte, en mobilisant un raisonnement en plusieurs étapes, du calcul symbolique et la sélection de la réponse finale correcte. Les solutions détaillées associées aux problèmes en font un outil d’évaluation ciblé sur les mathématiques de compétition.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (31)

Classement établi sur 31 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 95,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MATH-500 indique qu’un modèle fournit très souvent la réponse finale exacte à des problèmes mathématiques difficiles. La métrique exact match mesure directement cette correction finale, mais ne suffit pas à établir la qualité de chaque étape du raisonnement, même si le jeu contient des solutions détaillées. La comparaison doit aussi être interprétée avec prudence, car les scores de la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune.

Le score médian de 96 % parmi 31 modèles et le résultat de 99 % obtenu par LongCat-Flash-Thinking signalent une forte concentration près du maximum. Cette saturation réduit la capacité du benchmark à départager finement les meilleurs systèmes. Son accès public appelle également à la vigilance quant au risque de contamination des évaluations. Enfin, sa portée reste ciblée sur des problèmes en anglais, issus de compétitions et répartis entre sept matières. Le classement révèle donc surtout les écarts de performance sur ce cadre mathématique précis, avec un avantage limité pour le modèle en tête.

Sources des scores : llm-stats.