HealthBench est un benchmark open-source créé par OpenAI pour évaluer les modèles de langage dans des situations de santé. Il s’appuie sur des conversations médicales multi-tours et sur des réponses jugées selon des rubriques, afin d’apprécier la qualité, la sécurité et l’utilité des…

GPQA est un benchmark conçu par David Rein et al. pour évaluer des capacités de raisonnement scientifique avancé. Il repose sur des QCM rédigés par des experts de domaine en biologie, chimie et physique, avec des questions pensées pour rester difficiles même en présence d’une recherche…

Global PIQA est un benchmark multilingue de raisonnement de bon sens centré sur les interactions physiques. Il prolonge le format PIQA, où un modèle doit choisir la solution correcte à une situation concrète du quotidien, en l’adaptant à un grand nombre de langues et de contextes…

C-Eval est une suite d’évaluation chinoise consacrée aux connaissances disciplinaires et au raisonnement des modèles de fondation. Créé par Y. Huang et al., avec HKUST NLP et des collaborateurs, le benchmark s’inscrit dans un contexte linguistique et académique chinois, à travers des…

ARC-E est la partie « Easy Set » de AI2 Reasoning Challenge, un benchmark conçu par Allen Institute for Artificial Intelligence (AI2) avec Peter Clark et al. Il regroupe des questions scientifiques de niveau scolaire sous forme de QCM, en anglais, afin d’évaluer la capacité des modèles à…

ARC-C est le sous-ensemble Challenge de l’AI2 Reasoning Challenge, un benchmark de questions scientifiques de niveau scolaire au format QCM. Créé par AI2 (Allen Institute for AI) avec Peter Clark et al., il cible des questions conçues pour mettre en défaut les approches simples fondées…