Global-MMLU-Lite est une version légère du benchmark Global MMLU, créée par Cohere Labs (Cohere For AI) pour évaluer des modèles de langage dans un contexte multilingue. Il repose sur des questions à choix multiples et vise à mesurer la connaissance et le raisonnement dans plusieurs…

Global-MMLU est un benchmark d’évaluation multilingue consacré aux connaissances académiques et au raisonnement. Créé par Cohere For AI, avec des collaborateurs issus notamment de l’EPFL, Hugging Face, Mila et McGill, il étend l’esprit de MMLU à un cadre plus large, couvrant de…

ECLeKTic est un benchmark de Google Research et Google DeepMind consacré au transfert de connaissances cross-lingue dans les grands modèles de langage. Il évalue la capacité à répondre en closed-book à des questions dont l’information de référence n’existe que dans une seule langue, à…

CSimpleQA est un benchmark public consacré à l’évaluation de la factualité des modèles de langage en chinois. Créé par Alibaba Group, via OpenStellarTeam, il reprend l’esprit de SimpleQA pour tester la capacité à répondre correctement à des questions factuelles courtes, avec une…

Creative Writing v3 est un benchmark public d’EQ-Bench, créé par Samuel J. Paech, consacré à l’évaluation de l’écriture créative des modèles de langage. Il s’appuie sur des réponses à des prompts d’écriture, jugées par un LLM, afin d’examiner des dimensions comme l’humour, la romance, la…

COLLIE est un benchmark consacré à la génération de texte sous contraintes compositionnelles. Créé par Princeton University et des collaborateurs, il repose sur un cadre grammatical permettant de construire systématiquement des tâches où un modèle doit produire du texte tout en…

CMMLU, pour Chinese Massive Multitask Language Understanding, est un benchmark créé par Haonan Li et al. afin d’évaluer les grands modèles de langage dans un contexte chinois. Il repose sur des questions à choix multiples et couvre un large spectre de matières, des sciences naturelles…