ZebraLogic est un cadre d’évaluation conçu par Bill Yuchen Lin et ses coauteurs, dans le cadre de travaux associés à Allen Institute for AI et Google DeepMind. Il évalue le raisonnement logique des grands modèles de langage à partir de puzzles de grille générés depuis des problèmes de…

OpenBookQA est un benchmark conçu en 2018 par l’Allen Institute for AI (AI2) et Todor Mihaylov et al. Inspiré des examens à livre ouvert, il évalue la capacité à répondre à des questions scientifiques élémentaires à choix multiple.

Wild Bench est un cadre d’évaluation automatisé créé en 2024 par l’Allen Institute for AI (AI2). Il s’appuie sur des tâches ouvertes, réalistes et difficiles, sélectionnées à partir de conversations réelles entre des utilisateurs et des chatbots.

ARC-E est le sous-ensemble facile du AI2 Reasoning Challenge, créé par l’Allen Institute for Artificial Intelligence (AI2) et Peter Clark et al. Il rassemble des QCM scientifiques en anglais de niveau scolaire, conçus pour mobiliser des connaissances et des capacités de raisonnement.

Social IQa est un benchmark conçu en 2019 par Maarten Sap et ses coauteurs, rattachés à l’Allen Institute for AI et à l’University of Washington. Il constitue le premier benchmark à grande échelle consacré au raisonnement de sens commun sur les situations sociales.

IFBench est un benchmark conçu par l’Allen Institute for AI (AI2) et l’University of Washington pour évaluer la capacité des modèles à suivre des instructions complexes. Il s’appuie sur des prompts en anglais issus d’un ensemble WildChat tenu à l’écart.

Winogrande est un benchmark de raisonnement de sens commun conçu par l’Allen Institute for AI et l’University of Washington, dans le cadre des travaux de K. Sakaguchi et al. Il propose des phrases ambiguës où un système doit résoudre une coréférence, notamment pronominale.

MTEB: Instruction Following est un benchmark de recherche d’information conçu par les auteurs de FollowIR, Orion Weller et al., affiliés à Johns Hopkins University et à l’Allen Institute for AI. Il évalue la capacité des modèles à retrouver des documents pertinents lorsque des…

AI2D est un benchmark créé en 2016 par l’Allen Institute for Artificial Intelligence (AI2) et Kembhavi et al. Il repose sur des diagrammes illustratifs issus des sciences naturelles de niveau scolaire, notamment des réseaux alimentaires, des éléments de physiologie humaine et des cycles…

HellaSwag est un benchmark de raisonnement de bon sens créé en 2019 par Rowan Zellers et ses coauteurs, rattachés à l’University of Washington et à l’Allen Institute for AI. Il demande aux modèles de sélectionner, parmi plusieurs complétions, la suite la plus plausible d’une situation…

ARC-C est un benchmark de questions scientifiques à choix multiples de niveau scolaire, créé en 2018 par AI2 (Allen Institute for AI), Peter Clark et ses coauteurs. Il constitue la partie difficile de l’AI2 Reasoning Challenge.

DROP est un benchmark de compréhension écrite conçu par l’Allen Institute for AI (AI2), UC Irvine et Dheeru Dua et al. Il évalue la capacité des modèles à raisonner à partir du contenu de paragraphes, au-delà de la simple reformulation ou de l’identification d’entités.