CMMLU, pour Chinese Massive Multitask Language Understanding, est un benchmark public créé par Haonan Li et ses coauteurs en 2023. Il évalue en chinois les capacités de compréhension, de connaissance et de raisonnement des grands modèles de langage.

MultiPL-E est un système conçu par F. Cassano et ses coauteurs pour étendre des benchmarks de génération de code à de nombreux langages de programmation. Il traduit des tâches fondées sur des tests unitaires afin de comparer les modèles au-delà du seul Python.

WritingBench est un benchmark bilingue consacré aux capacités de rédaction générative des grands modèles de langage. Publié en 2025 par Alibaba Group, via Tongyi Lab, avec des collaborateurs de Renmin University et de SJTU, il couvre des productions créatives, persuasives, informatives…

Creative Writing v3 est un benchmark d’écriture créative conçu en 2025 par EQ-Bench, à l’initiative de Samuel J. Paech. Il soumet les modèles à des prompts en anglais et fait évaluer leurs productions par un autre LLM.

Arena-Hard v2 est un benchmark conçu en 2025 par LMArena, anciennement LMSYS, notamment par Tianle Li et Wei-Lin Chiang. Il rassemble des requêtes utilisateur réelles et difficiles issues de Chatbot Arena et de WildChat-1M.

CSimpleQA est un benchmark publié en 2024 par Alibaba Group, sous l’équipe OpenStellarTeam. Il évalue la factualité des modèles de langage à travers des questions courtes portant sur la connaissance en chinois.

WMT23 est un benchmark de traduction automatique créé en 2023 par la Conference on Machine Translation (WMT). Il évalue des systèmes dans plusieurs domaines, notamment la traduction générale, biomédicale et littéraire, ainsi que pour des langues peu dotées.

Global-MMLU est un benchmark multilingue conçu en 2024 par Cohere For AI (Cohere Labs), avec des collaborateurs de l’EPFL, Hugging Face, Mila et McGill. Il évalue les connaissances académiques et le raisonnement au moyen de questions à choix multiple traduites dans de nombreuses langues.

Multilingual MMLU est un benchmark public conçu par les auteurs de MMLU-ProX, Weihao Xuan et al., et publié en 2025. Héritier de MMLU-Pro, il repose sur des questions à choix multiple exigeantes, centrées sur le raisonnement et les connaissances académiques multidisciplinaires.

Wild Bench est un cadre d’évaluation automatisé créé en 2024 par l’Allen Institute for AI (AI2). Il s’appuie sur des tâches ouvertes, réalistes et difficiles, sélectionnées à partir de conversations réelles entre des utilisateurs et des chatbots.

Multi-IF est un benchmark créé en 2024 par Meta GenAI pour évaluer la capacité des grands modèles de langage à suivre des instructions dans des dialogues multilingues à plusieurs tours. Il prolonge IFEval en ajoutant des séquences conversationnelles et des traductions de prompts anglais.

Internal API instruction following (hard) est un benchmark créé par OpenAI pour évaluer le suivi d’instructions complexes inspirées de retours réels de développeurs. Il cible notamment le respect de contraintes portant sur le format des réponses, leur verbosité et leur longueur.

ECLeKTic est un benchmark créé par Google Research et Google DeepMind pour évaluer le transfert de connaissances entre langues dans les grands modèles de langage. Il repose sur des questions de recherche d’information issues d’articles Wikipédia dont le contenu pertinent n’existe que…

MT-Bench est un benchmark publié en 2023 par LMSYS Org (Zheng et al.) pour évaluer les capacités conversationnelles des grands modèles de langage. Il repose sur des échanges ouverts en plusieurs tours, examinés par un autre LLM agissant comme juge.

Social IQa est un benchmark conçu en 2019 par Maarten Sap et ses coauteurs, rattachés à l’Allen Institute for AI et à l’University of Washington. Il constitue le premier benchmark à grande échelle consacré au raisonnement de sens commun sur les situations sociales.

BoolQ est un benchmark de compréhension de lecture créé par Google AI Language, sous la direction de Christopher Clark et ses coauteurs. Il repose sur des questions naturelles auxquelles un modèle doit répondre par oui ou non en s’appuyant sur un passage.

COLLIE est un cadre fondé sur une grammaire pour construire systématiquement des tâches de génération de texte sous contraintes compositionnelles. Créé par Princeton University et ses collaborateurs, il couvre plusieurs niveaux de production, du mot au passage.

BIG-Bench Extra Hard est un benchmark créé par Google DeepMind pour évaluer le raisonnement général difficile et diversifié des modèles d’IA avancés. Il prolonge BIG-Bench Hard en remplaçant chacune de ses tâches par une variante nouvelle et nettement plus exigeante.

WMT24++ est un benchmark de traduction automatique multilingue créé par Google et Unbabel en 2025. Extension de WMT24, il évalue la capacité des systèmes de traduction et des grands modèles de langage à produire des traductions dans des contextes linguistiques variés.

IFBench est un benchmark conçu par l’Allen Institute for AI (AI2) et l’University of Washington pour évaluer la capacité des modèles à suivre des instructions complexes. Il s’appuie sur des prompts en anglais issus d’un ensemble WildChat tenu à l’écart.

Winogrande est un benchmark de raisonnement de sens commun conçu par l’Allen Institute for AI et l’University of Washington, dans le cadre des travaux de K. Sakaguchi et al. Il propose des phrases ambiguës où un système doit résoudre une coréférence, notamment pronominale.

Global-MMLU-Lite est une version allégée de Global MMLU, créée en 2024 par Cohere Labs, également connu sous le nom Cohere For AI. Ce benchmark public évalue efficacement les connaissances et le raisonnement de modèles de langage dans un cadre multilingue.

Créé en 2024 par LMSYS / Chatbot Arena, Arena Hard est un benchmark public consacré aux modèles conversationnels instruction-tuned. Il rassemble des requêtes ouvertes difficiles issues de situations réelles, notamment en raisonnement, programmation, mathématiques, écriture et créativité.

Multi-Challenge est un benchmark créé en 2025 par l’équipe SEAL de Scale AI, au sein de Scale Labs. Il évalue les modèles dans des conversations réalistes et contextuellement complexes, portant notamment sur la planification de voyages, la documentation technique et la communication…

IFEval est un benchmark publié en 2023 par Google Research, dans les travaux de Zhou et al. Il évalue la capacité des grands modèles de langage à suivre précisément des instructions explicites au sein de tâches de génération de texte ouverte.