HMMT Feb 26

HMMT Feb 26 est un benchmark de MathArena, créé par l’ETH Zurich et eth-sri à partir de problèmes du Harvard-MIT Mathematics Tournament. Il évalue la capacité des modèles d’IA à résoudre des exercices avancés de mathématiques de compétition.

Les réponses attendues, courtes ou numériques, sollicitent principalement le raisonnement mathématique. Le benchmark sert ainsi à comparer les performances des modèles sur des problèmes exigeants, selon une mesure d’exactitude calculée sur plusieurs essais pour chaque problème.

Carte d'identité

Classement des modèles (11)

Classement établi sur 11 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 92,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur HMMT Feb 26 indique qu’un modèle fournit fréquemment la réponse exacte à des problèmes avancés de compétition, avec une performance consolidée par une moyenne sur quatre essais par problème. Ce protocole réduit l’influence d’une réussite ou d’un échec isolé. La portée reste toutefois ciblée : le benchmark couvre des questions en anglais, à réponse courte ou numérique, et ne représente donc pas l’ensemble des compétences mathématiques ou des formes de raisonnement.

Avec une médiane de 92 % parmi les 11 modèles évalués et un meilleur résultat de 97 % pour Qwen3.7 Max, le classement montre des performances très élevées et relativement resserrées. Cette proximité avec le score maximal suggère un risque de saturation, qui peut réduire le pouvoir discriminant du benchmark entre les meilleurs modèles. Son accès public crée aussi un risque de contamination des évaluations si les problèmes entrent dans les données d’entraînement. Enfin, les scores étant majoritairement auto-déclarés par les éditeurs, leur comparaison présente une fiabilité moindre qu’une évaluation entièrement mesurée et vérifiée de façon indépendante.

Sources des scores : llm-stats.