TheoremQA est un benchmark de questions scientifiques et mathématiques fondées sur des théorèmes, créé par Wenhu Chen et ses coauteurs en 2023. Il couvre notamment les mathématiques, la physique, l’ingénierie électrique, l’informatique et la finance.

DynaMath est un benchmark de raisonnement mathématique multimodal créé par l’University of Illinois Urbana-Champaign. Il repose sur des problèmes visuels dont plusieurs variantes sont générées par programme, notamment en modifiant des valeurs numériques, des éléments textuels ou des…

LiveBench 20241125 est un benchmark public conçu par Abacus.AI, NYU et NVIDIA, avec Colin White, Samuel Dooley et leurs coauteurs. Il vise à limiter la contamination des jeux de test grâce à des questions renouvelées mensuellement, issues de sources récemment publiées.

PolyMATH est un benchmark de raisonnement mathématique multimodal publié en 2024 par H. Gupta et ses coauteurs, au sein du groupe de Chitta Baral à l’Arizona State University. Il rassemble des défis cognitifs en anglais associant contenus textuels et visuels sous forme de QCM.

SuperGPQA est un benchmark conçu par M-A-P, ByteDance Seed et 2077.AI pour évaluer les grands modèles de langage sur des questions académiques de niveau master et doctorat. Il couvre un large éventail de disciplines, notamment des domaines spécialisés rarement représentés dans les…

Beyond AIME est un benchmark de raisonnement mathématique publié en 2025 par l’équipe Seed de ByteDance. Il rassemble des problèmes originaux de niveau compétition, à réponse courte ou numérique, conçus pour limiter la mémorisation.

HMMT25 est un benchmark conçu par MathArena à partir des problèmes du Harvard-MIT Mathematics Tournament 2025, une compétition de mathématiques organisée par des étudiants à destination des lycéens. Il repose sur des problèmes de concours en anglais appelant des réponses courtes ou…

MathArena Apex est un benchmark de mathématiques conçu en 2025 par SRI Lab, à l’ETH Zurich, et INSAIT. Il rassemble des problèmes particulièrement difficiles de niveau olympiade, formulés en anglais et demandant une réponse finale.

HMMT Feb 26 est un benchmark de MathArena, créé par l’ETH Zurich et eth-sri à partir de problèmes du Harvard-MIT Mathematics Tournament. Il évalue la capacité des modèles d’IA à résoudre des exercices avancés de mathématiques de compétition.

Créé par Pan Lu et al. en 2023, MathVista-Mini est une version réduite de MathVista consacrée au raisonnement mathématique en contexte visuel. Ses questions multimodales associent mathématiques, compréhension d’images et interprétation de diagrammes, tableaux, figures ou scènes.

BBH, pour Big-Bench Hard, est une suite créée par Mirac Suzgun et ses coauteurs afin d’isoler des tâches de BIG-Bench particulièrement difficiles. Lors des évaluations antérieures, les modèles de langage ne dépassaient pas la moyenne des évaluateurs humains sur ces tâches.

IMO-AnswerBench est un benchmark public conçu par Google DeepMind pour évaluer le raisonnement mathématique de niveau olympiade. Il repose sur des problèmes inspirés de l’International Mathematical Olympiad, formulés en anglais et associés à une réponse courte, unique et vérifiable.

MATH (CoT), créé par D. Hendrycks et al., est un benchmark consacré à des problèmes difficiles issus de compétitions mathématiques. Les exercices couvrent plusieurs niveaux de difficulté et sept domaines, avec des solutions complètes étape par étape.

AMC_2022_23 est un benchmark issu des épreuves officielles de l’American Mathematics Competition de l’année scolaire 2022-2023, organisées par la Mathematical Association of America. Il rassemble des problèmes de mathématiques à choix multiple destinés au niveau lycée.

MathVision est un benchmark créé en 2024 par l’équipe MATH-Vision (mathllm) pour évaluer le raisonnement mathématique multimodal. Il réunit des problèmes dont la résolution exige de combiner la compréhension d’éléments visuels avec des opérations de raisonnement mathématique.

AGIEval est un benchmark conçu en 2023 par Microsoft Research et Wanjun Zhong et al. Son approche centrée sur l’humain s’appuie sur des examens standardisés issus de contextes académiques et professionnels réels, notamment des concours d’entrée, des tests de droit, des compétitions…

MMLU-ProX est un benchmark public créé en 2025 par l’équipe MMLU-ProX, menée par Weihao Xuan. Extension de MMLU-Pro fondée sur le cadre Massive Multitask Language Understanding, il rassemble des QCM difficiles et parallèles dans plusieurs langues, avec un format étendu pouvant approcher…

MMLU-Redux est une version améliorée de MMLU, créée en 2024 par Aryo Pradipta Gema et des chercheurs de l’University of Edinburgh. Ses questions ont été ré-annotées manuellement afin d’identifier et de corriger des erreurs présentes dans le jeu original.

AIME 2026 réunit les 30 problèmes des épreuves AIME I et AIME II conçues par la Mathematical Association of America. Ces questions ouvertes, issues des mathématiques de niveau olympiade, attendent une réponse entière courte et mobilisent des raisonnements complexes.

CodeForces est un benchmark de programmation compétitive construit à partir de problèmes issus de la plateforme Codeforces, sa créatrice. Il confronte les modèles à des énoncés algorithmiques complexes couvrant notamment la programmation dynamique, les graphes, les structures de données…

HiddenMath est un benchmark interne de Google DeepMind consacré au raisonnement mathématique de niveau compétition. Il repose sur des problèmes nouveaux, conservés dans un jeu de test privé, afin d’évaluer la capacité des modèles à construire un raisonnement plutôt qu’à restituer des…

HMMT 2025 est un benchmark de raisonnement mathématique conçu par MathArena à partir de problèmes du Harvard-MIT Mathematics Tournament, une compétition prestigieuse organisée par des étudiants pour des lycéens.

FrontierMath est un benchmark créé en 2024 par Epoch AI pour évaluer le raisonnement mathématique avancé des modèles d’intelligence artificielle. Il réunit des problèmes originaux, particulièrement difficiles, conçus et vérifiés par des mathématiciens experts.

MATH-500 est un sous-ensemble du jeu MATH consacré à 500 problèmes exigeants issus de compétitions mathématiques. Créé par OpenAI, dans les travaux de H. Lightman et al. à partir du corpus de D. Hendrycks et al., il couvre plusieurs niveaux de difficulté et sept domaines mathématiques.

BIG-Bench Hard, créé par M. Suzgun et al. en 2022, rassemble des tâches de BIG-Bench sélectionnées parce que les évaluations antérieures de modèles de langage n’y dépassaient pas la performance moyenne d’évaluateurs humains.

LiveBench est un benchmark généraliste créé en 2024 par l’équipe LiveBench, réunissant notamment Abacus.AI, NYU et Colin White. Il évalue les modèles de langage sur des tâches de mathématiques, de code, de raisonnement, de langue, d’analyse de données et de suivi d’instructions.

DROP est un benchmark de compréhension écrite conçu par l’Allen Institute for AI (AI2), UC Irvine et Dheeru Dua et al. Il évalue la capacité des modèles à raisonner à partir du contenu de paragraphes, au-delà de la simple reformulation ou de l’identification d’entités.

GSM8k est un benchmark créé par OpenAI, sous la direction de Karl Cobbe et de ses coauteurs. Il rassemble des problèmes de mathématiques rédigés en anglais, formulés en langage naturel et inspirés du niveau de l’école primaire.

MGSM est un benchmark de raisonnement mathématique multilingue créé par Google Research et F. Shi et al. Il rassemble des problèmes de niveau école primaire issus de GSM8K, puis traduits manuellement dans plusieurs langues typologiquement diverses.

MathVista est un benchmark créé par P. Lu et al. pour évaluer le raisonnement mathématique des modèles de fondation dans des contextes visuels. Il associe l’interprétation de figures, diagrammes, graphiques et images à des calculs ou à des inférences mathématiques.

AIME 2024 est un benchmark issu de l’American Invitational Mathematics Examination, créé par la Mathematical Association of America dans le cadre des American Mathematics Competitions. Il réunit des problèmes exigeants provenant des compétitions AIME I et AIME II.

MMMLU est un benchmark multilingue créé par OpenAI en 2024. Adapté de MMLU, il réunit des questions traduites professionnellement afin d’évaluer des modèles dans plusieurs langues et dans un large éventail de matières.

Publié en 2021 par D. Hendrycks et ses coauteurs, MATH est un benchmark consacré à la résolution de problèmes issus de concours de mathématiques. Ses questions ouvertes exigent une réponse courte, accompagnée dans le jeu de données d’une solution détaillée étape par étape.

Humanity's Last Exam est un benchmark académique multimodal créé en 2025 par le Center for AI Safety (CAIS) et Scale AI. Il confronte les modèles à des questions expertes en mathématiques, sciences naturelles et sciences humaines, avec des solutions conçues pour être vérifiables et sans…

MMLU, pour Massive Multitask Language Understanding, est un benchmark créé par D. Hendrycks et ses coauteurs en 2020. Il évalue les connaissances d’un modèle dans des domaines variés, notamment les sciences, les sciences humaines, les sciences sociales et les disciplines professionnelles.

Créé en 2024 par TIGER AI Lab, MMLU-Pro est un benchmark public de compréhension multitâche conçu comme une extension plus robuste et plus difficile de MMLU. Il écarte les questions triviales et privilégie des tâches exigeant davantage de raisonnement.

AIME 2025 rassemble les problèmes des deux éditions 2025 de l’American Invitational Mathematics Examination, conçu par la Mathematical Association of America. Ce benchmark repose sur des questions ouvertes de niveau olympiade, dont la résolution exige plusieurs étapes de raisonnement.

AlignBench est un benchmark conçu en 2023 par THUDM, Tsinghua University et plusieurs collaborateurs pour évaluer l’alignement des grands modèles de langage en chinois. Il repose sur des requêtes ouvertes issues de situations réelles, accompagnées de réponses de référence vérifiées par…