TruthfulQA est un benchmark conçu pour évaluer la véracité des réponses produites par les modèles de langage. Créé par Stephanie Lin, Jacob Hilton et Owain Evans, il cible des questions susceptibles de déclencher des réponses fausses, notamment lorsqu’elles reposent sur des idées reçues,…

TriviaQA est un benchmark de compréhension de lecture publié en 2017 par Mandar Joshi et al. à l’University of Washington. Il repose sur des questions de culture générale associées à des documents de preuve, afin d’évaluer la capacité d’un modèle à retrouver une information pertinente et…

PIQA est un benchmark de raisonnement de sens commun physique créé par Yonatan Bisk et al. Il évalue la capacité d’un modèle à choisir la solution la plus plausible face à une situation concrète impliquant des interactions avec le monde matériel.

OpenBookQA est un benchmark de questions-réponses conçu par Allen Institute for AI (AI2) avec Todor Mihaylov et al. Il s’inspire des examens à livre ouvert pour tester la compréhension scientifique élémentaire à travers des questions à choix multiple.

NOVA-63 est un benchmark multilingue destiné à évaluer les grands modèles de langage dans des contextes linguistiques variés. Créé par Jinyang Zhang et al., de l’Université de Pékin et d’Alibaba Group, il s’appuie sur des questions rédigées par des locuteurs natifs afin de limiter les…

Natural2Code est un benchmark de Google DeepMind consacré à la génération de code à partir d’énoncés en langage naturel. Il évalue la capacité d’un modèle à produire directement du code Python correct, dans un format proche de HumanEval, sur des tâches conçues pour refléter des demandes…

MLVU-M est un benchmark consacré à la compréhension de longues vidéos, avec des séquences allant de quelques minutes à plusieurs heures. Créé par Junjie Zhou et al., au sein de l’équipe MLVU associée à BAAI et BUPT, il évalue la capacité des modèles multimodaux à extraire, relier et…