TheoremQA est un benchmark de question-réponse conçu par Wenhu Chen et al. pour évaluer la capacité des modèles d’IA à mobiliser des théorèmes scientifiques et mathématiques dans des problèmes de niveau universitaire. Il porte sur des questions ouvertes à réponse courte, souvent…

SuperGPQA est un benchmark public conçu pour évaluer les grands modèles de langage sur des connaissances académiques avancées et du raisonnement de niveau master ou doctorat. Créé par M-A-P, ByteDance Seed et 2077.AI, il couvre un très large spectre de disciplines, y compris des domaines…

PolyMATH est un benchmark académique de raisonnement mathématique multimodal publié en 2024 par H. Gupta et al., au sein du groupe de Chitta Baral à Arizona State University. Il vise à évaluer les capacités cognitives générales des modèles multimodaux à partir de défis textuels et visuels.

MMLU-Redux est une version améliorée de MMLU, conçue pour évaluer les connaissances générales multitâches des modèles de langage à travers un large éventail de matières académiques et professionnelles. Le benchmark a été publié en 2024 par University of Edinburgh et al., avec Aryo…

MMMLU est un benchmark multilingue publié par OpenAI pour évaluer des modèles de langage sur des questions à choix multiple issues de MMLU et traduites professionnellement. Il transpose l’évaluation de la compréhension et des connaissances au-delà de l’anglais, en couvrant un large…

MMLU, pour Massive Multitask Language Understanding, est un benchmark publié en 2020 par D. Hendrycks et al. Il évalue des modèles de langage au moyen de questions à choix multiple portant sur un large éventail de domaines, des sciences aux humanités, en passant par les sciences sociales…

MMLU-Pro est un benchmark de compréhension multitâche conçu par TIGER AI Lab pour évaluer des modèles de langage sur des questions à choix multiples plus exigeantes que celles de MMLU. Il met l’accent sur le raisonnement dans des domaines variés, avec des items filtrés pour réduire les…