CodeForces est un benchmark de programmation compétitive fondé sur des problèmes issus de la plateforme Codeforces. Il évalue la capacité des modèles de langage à comprendre des énoncés algorithmiques exigeants, à concevoir une solution efficace et à produire du code exécutable.

BIG-Bench Hard est un benchmark d’évaluation en anglais conçu par M. Suzgun et al. pour isoler des tâches de BIG-Bench particulièrement difficiles pour les modèles de langage. Il cible des problèmes où les évaluations antérieures ne dépassaient pas la performance moyenne de correcteurs…

Beyond AIME est un benchmark de raisonnement mathématique publié en 2025 par l’équipe Seed de ByteDance. Il s’inscrit dans la famille des évaluations inspirées des concours de mathématiques, avec des problèmes originaux à réponse courte ou numérique.

BBH, pour Big-Bench Hard, est un benchmark d’évaluation du raisonnement créé par Mirac Suzgun et al. Il regroupe des tâches difficiles issues de BIG-Bench, choisies parce que les évaluations antérieures de modèles de langage n’y dépassaient pas la performance moyenne d’annotateurs humains.

AMC_2022_23 est un benchmark issu des compétitions American Mathematics Competition de l’année scolaire 2022-23, organisées par la Mathematical Association of America. Il rassemble des problèmes de mathématiques à choix multiples conçus pour des lycéens, avec un accent sur le…

AlignBench est un benchmark public conçu par THUDM, Tsinghua University et al. pour évaluer l’alignement des grands modèles de langage en chinois. Il se concentre sur des requêtes ouvertes et des instructions ancrées dans des scénarios réels, avec des réponses de référence vérifiées…

AIME 2026 est un benchmark issu de l’American Invitational Mathematics Examination, conçu par la Mathematical Association of America. Il reprend des problèmes de mathématiques de niveau olympiade et sert à mesurer la capacité des modèles d’IA à produire une réponse courte exacte après un…