SmartScripto Admin

Winogrande

Winogrande est un benchmark de raisonnement de sens commun conçu par l’Allen Institute for AI et l’University of Washington, dans le cadre des travaux de K. Sakaguchi et al. Il propose des phrases ambiguës où un système doit résoudre une coréférence, notamment pronominale.

Terminal-Bench

Terminal-Bench est un benchmark conçu par Stanford University, le Laude Institute et sa communauté pour éprouver des agents d’IA dans de véritables environnements de terminal isolés. Il repose sur des tâches complètes, élaborées et vérifiées par des humains.

Global-MMLU-Lite

Global-MMLU-Lite est une version allégée de Global MMLU, créée en 2024 par Cohere Labs, également connu sous le nom Cohere For AI. Ce benchmark public évalue efficacement les connaissances et le raisonnement de modèles de langage dans un cadre multilingue.

FrontierMath-Tier-4-2025-07-01-Public

Epoch: FrontierMath-Tier-4-2025-07-01-Public est un sous-ensemble public du niveau le plus difficile de FrontierMath, créé par Epoch AI. Il rassemble des problèmes mathématiques de niveau recherche extrême, conçus comme des projets de recherche à court terme par des professeurs et des…

SWE-bench Multilingual

SWE-bench Multilingual est un benchmark de génie logiciel créé par ByteDance Seed. Il évalue la capacité des modèles d’IA à comprendre une issue GitHub, à raisonner sur un dépôt de code et à produire un patch corrigeant le bug décrit.

Instruction Following

MTEB: Instruction Following est un benchmark de recherche d’information conçu par les auteurs de FollowIR, Orion Weller et al., affiliés à Johns Hopkins University et à l’Allen Institute for AI. Il évalue la capacité des modèles à retrouver des documents pertinents lorsque des…

SWE-Bench verified

Epoch: SWE-Bench verified est un benchmark créé par OpenAI et SWE-bench/Princeton NLP à partir d’un sous-ensemble de SWE-bench validé par des humains. Il repose sur des tâches réelles de maintenance logicielle issues de dépôts GitHub.