IMO-AnswerBench

IMO-AnswerBench est un benchmark public conçu par Google DeepMind pour évaluer le raisonnement mathématique de niveau olympiade. Il repose sur des problèmes inspirés de l’International Mathematical Olympiad, formulés en anglais et associés à une réponse courte, unique et vérifiable.

Le benchmark examine à la fois la génération et la vérification de réponses, ainsi que la robustesse à la mémorisation. Sa couverture de plusieurs domaines et niveaux de difficulté permet de comparer la capacité des modèles à produire des résultats exacts sur des exercices mathématiques exigeants.

Carte d'identité

Classement des modèles (19)

Classement établi sur 19 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 83,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur IMO-AnswerBench indique qu’un modèle fournit fréquemment la réponse exacte attendue à des problèmes de niveau olympiade. L’autograding strict renforce la rigueur de la correction en limitant l’ambiguïté liée à l’appréciation humaine. La fiabilité comparative reste toutefois à nuancer, car les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière indépendante.

La médiane de 84 % parmi les 18 modèles évalués, face à un meilleur résultat de 92 % obtenu par Nemotron 3 Ultra (550B A55B), suggère une concentration des performances dans le haut de l’échelle et donc un risque de saturation. La robustesse à la mémorisation fait partie des capacités visées, ce qui répond à l’enjeu de contamination, sans élargir pour autant la portée du classement. Celui-ci mesure un cadre précis : des réponses courtes et vérifiables en algèbre, combinatoire, géométrie et théorie des nombres. Il renseigne donc sur l’exactitude dans ce format, pas sur l’ensemble des capacités mathématiques d’un modèle.

Sources des scores : llm-stats.