HMMT25

HMMT25 est un benchmark conçu par MathArena à partir des problèmes du Harvard-MIT Mathematics Tournament 2025, une compétition de mathématiques organisée par des étudiants à destination des lycéens. Il repose sur des problèmes de concours en anglais appelant des réponses courtes ou numériques.

Le benchmark mesure la capacité des modèles d’IA à résoudre des exercices de raisonnement mathématique de niveau olympiade au lycée. Il sert ainsi à comparer leur aptitude à produire une réponse exacte face à des problèmes exigeants issus d’un cadre compétitif.

Carte d'identité

Classement des modèles (25)

Classement établi sur 25 modèles évalués, dont 2 de grands éditeurs. Score médian de l'ensemble : 77,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur HMMT25 indique qu’un modèle fournit régulièrement la réponse exacte à des problèmes de mathématiques de compétition, l’exactitude étant moyennée sur quatre essais par problème. Cette répétition atténue l’effet d’une réussite ou d’un échec isolé. La lecture du classement exige toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant commun.

Avec une médiane de 77 % parmi les 25 modèles recensés et Grok-4 Heavy en tête à 97 %, le classement montre un niveau globalement élevé et un leader proche du plafond. Cette proximité peut réduire la capacité du benchmark à distinguer finement les meilleurs modèles, signe d’une possible saturation. Son accès public et son origine dans des problèmes de tournoi imposent aussi de considérer le risque qu’un modèle ait déjà rencontré certains contenus, ce qui peut influencer la mesure. Enfin, sa portée reste ciblée : environ 30 problèmes par compétition, en anglais, à réponse courte ou numérique. Les résultats caractérisent donc surtout le raisonnement mathématique compétitif de niveau lycée.

Sources des scores : llm-stats.