HMMT 2025

HMMT 2025 est un benchmark de raisonnement mathématique conçu par MathArena à partir de problèmes du Harvard-MIT Mathematics Tournament, une compétition prestigieuse organisée par des étudiants pour des lycéens.

Il évalue la capacité des modèles à résoudre en anglais des problèmes de niveau olympiade, sous la forme de réponses courtes ou numériques. Fondé sur les compétitions HMMT, avec leurs épreuves individuelles et collectives, il sert à comparer les performances des modèles sur des tâches mathématiques exigeantes.

Carte d'identité

Classement des modèles (33)

Classement établi sur 33 modèles évalués, dont 15 de grands éditeurs. Score médian de l'ensemble : 90,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur HMMT 2025 indique qu’un modèle produit fréquemment la réponse exacte à des problèmes de compétition mathématique de niveau lycée. L’exactitude moyenne calculée sur quatre essais par problème évalue une performance répétée plutôt qu’une réussite isolée. La rigueur comparative reste toutefois limitée par l’origine des résultats, majoritairement auto-déclarés par les éditeurs, ce qui réduit l’homogénéité du contrôle entre modèles.

Le score médian de 90 % parmi les 33 modèles évalués, associé au résultat parfait de GPT-5.2 Pro, signale une forte concentration des performances dans le haut de l’échelle et un risque de saturation. Le classement distingue donc surtout les modèles proches de la maîtrise complète de ce jeu. L’accès public peut aussi favoriser une exposition préalable aux problèmes, avec un risque de contamination. Enfin, la portée demeure ciblée : problèmes en anglais, réponses courtes ou numériques, et raisonnement mathématique de compétition. Le benchmark ne représente donc pas l’ensemble des capacités mathématiques ni les autres formes de raisonnement d’un modèle.

Sources des scores : llm-stats.