HiddenMath

HiddenMath est un benchmark interne de Google DeepMind consacré au raisonnement mathématique de niveau compétition. Il repose sur des problèmes nouveaux, conservés dans un jeu de test privé, afin d’évaluer la capacité des modèles à construire un raisonnement plutôt qu’à restituer des réponses mémorisées pendant leur entraînement.

Ce dispositif sert de jeu retenu dans l’évaluation des modèles. Les questions et leurs réponses n’étant pas divulguées, HiddenMath vise à limiter la contamination du test et à fournir un indicateur ciblé des performances mathématiques en anglais.

Carte d'identité

Classement des modèles (13)

Classement établi sur 13 modèles évalués, dont 13 de grands éditeurs. Score médian de l'ensemble : 43,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur HiddenMath indique qu’un modèle résout correctement une plus grande part de problèmes mathématiques de niveau compétition, selon une métrique d’accuracy présumée. La médiane de 43 % et le meilleur résultat de 63 %, obtenu par Gemini 2.0 Flash, suggèrent que le classement n’est pas saturé et conserve un pouvoir de différenciation entre les modèles évalués. Le caractère privé du jeu, ses problèmes nouveaux et la non-divulgation des réponses renforcent sa résistance à la contamination et à la mémorisation. Cette rigueur doit toutefois être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés indépendamment. La portée reste ciblée sur des mathématiques de compétition en anglais, et ne représente donc pas l’ensemble des capacités d’un modèle. Enfin, les 13 modèles classés sont tous édités par Google, également créateur du benchmark. Le classement renseigne ainsi sur les écarts internes à cette gamme, mais ne constitue pas une source indépendante pour comparer les modèles Google à ceux d’autres éditeurs.

Sources des scores : llm-stats.