MATH (CoT) est une variante du benchmark MATH, créé par D. Hendrycks et al., centrée sur des problèmes de mathématiques de compétition en anglais. Elle repose sur des questions ouvertes à réponse courte, accompagnées d’un raisonnement étape par étape attendu grâce au prompting…

MATH est un benchmark conçu par D. Hendrycks et al. pour évaluer la capacité des modèles d’IA à résoudre des problèmes mathématiques exigeants, issus de compétitions et formulés en questions ouvertes à réponse courte. Chaque exercice s’accompagne d’une solution détaillée, ce qui en fait…

LiveBench 20241125 est un benchmark public pour grands modèles de langage conçu par Abacus.AI, NYU et NVIDIA, notamment Colin White, Samuel Dooley et leurs coauteurs. Il vise une évaluation limitée en contamination grâce à des questions renouvelées mensuellement, issues de sources…

LiveBench est un benchmark généraliste pour grands modèles de langage publié en 2024 par l’équipe LiveBench, avec Abacus.AI, NYU et Colin White et al. Il vise à mesurer des capacités variées, notamment en mathématiques, code, raisonnement, langue, analyse de données et suivi…

IMO-AnswerBench est un benchmark public conçu par Google DeepMind pour évaluer le raisonnement mathématique de niveau International Mathematical Olympiad. Il se concentre sur des problèmes à réponse courte, unique et vérifiable, afin de mesurer la capacité des modèles à produire une…

Humanity's Last Exam est un benchmark académique multimodal conçu par le Center for AI Safety (CAIS) et Scale AI. Il vise à évaluer des modèles sur des questions expertes, vérifiables et issues de domaines variés, notamment les mathématiques, les sciences naturelles, les sciences…

HMMT25 est un benchmark d’évaluation mathématique construit par MathArena à partir des problèmes du Harvard-MIT Mathematics Tournament. Il cible des exercices de compétition de niveau lycée, dans l’esprit des olympiades, avec des réponses courtes ou numériques plutôt qu’une simple…