LiveBench: Coding est la catégorie de LiveBench consacrée à l’évaluation des modèles sur des tâches de programmation. Créé par l’équipe LiveBench, associant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California, ce benchmark s’appuie sur des…

LiveBench: Agentic Coding est une catégorie du benchmark LiveBench consacrée au codage agentique. Créée par l’équipe LiveBench, associant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California, elle évalue des agents de développement autonomes…

Epoch: SWE-Bench verified est un benchmark public issu d’OpenAI et de SWE-bench/Princeton NLP, centré sur la maintenance logicielle réelle. Il s’appuie sur des issues GitHub et demande à un modèle ou à un agent de comprendre le problème, de modifier un dépôt de code et de produire un…

Epoch: SimpleQA Verified est un benchmark de factualité créé par Google DeepMind pour évaluer les réponses factuelles courtes des modèles d’IA. Il se concentre sur la factualité paramétrique, c’est-à-dire les connaissances mémorisées par le modèle, et mesure la capacité à produire des…

Epoch: OTIS Mock AIME 2024-2025 est un benchmark public compilé par Epoch AI pour évaluer la résolution de problèmes mathématiques de compétition. Il rassemble des exercices de style AIME, avec des réponses entières, et se situe sur un niveau intermédiaire à avancé.

Epoch: GPQA diamond est un benchmark issu de GPQA, créé par D. Rein et al., centré sur des questions scientifiques à choix multiple de niveau doctorat. Son sous-ensemble Diamond correspond à la partie la plus sélective du jeu, avec des questions conçues pour résister aux réponses simples…

Epoch: MATH level 5 est une évaluation issue du benchmark MATH, créé par D. Hendrycks et al. Elle se concentre sur les problèmes de niveau 5, les plus difficiles de ce jeu de mathématiques de compétition, et mesure la capacité des modèles à produire des réponses courtes à des questions…