HMMT Feb 26 est un benchmark de mathématiques de compétition fondé sur des problèmes du Harvard-MIT Mathematics Tournament. Créé par MathArena, associé à l’ETH Zurich et à eth-sri, il vise à évaluer la capacité des modèles d’IA à résoudre des problèmes mathématiques avancés nécessitant…

HMMT 2025 est un benchmark de raisonnement mathématique fondé sur les problèmes du Harvard-MIT Mathematics Tournament, adapté par MathArena pour l’évaluation des modèles d’IA. Il reprend l’esprit d’une compétition lycéenne de haut niveau, avec des énoncés courts ou numériques qui exigent…

HiddenMath est un benchmark interne de Google DeepMind consacré au raisonnement mathématique de niveau compétition. Il repose sur des problèmes nouveaux, conçus comme un jeu retenu, afin de limiter le risque que les modèles aient déjà rencontré les questions pendant leur entraînement.

GSM8k est un benchmark de mathématiques en langage naturel conçu par OpenAI, associé à Karl Cobbe et al. Il regroupe des problèmes de niveau école primaire qui demandent plusieurs étapes de raisonnement et des opérations arithmétiques élémentaires.

FrontierMath est un benchmark d’Epoch AI consacré au raisonnement mathématique avancé. Il réunit des problèmes originaux, particulièrement difficiles, conçus et vérifiés par des mathématiciens experts, avec des questions ouvertes dont la réponse est courte ou vérifiable.

DROP, pour Discrete Reasoning Over Paragraphs, est un benchmark de compréhension écrite conçu par Allen Institute for AI et UC Irvine, avec Dheeru Dua et al. Publié en 2019, il évalue la capacité d’un modèle à répondre à des questions ouvertes à réponse courte à partir de paragraphes en…

DynaMath est un benchmark de raisonnement mathématique multimodal publié par l’University of Illinois Urbana-Champaign. Il évalue la capacité des modèles à résoudre des problèmes visuels dont les éléments numériques, textuels ou graphiques varient de manière dynamique.