SmartScripto Admin

BrowseComp Long Context 128k

BrowseComp Long Context 128k est une configuration à contexte long du benchmark BrowseComp, créé par OpenAI avec Jason Wei et ses coauteurs. Il évalue des agents capables de naviguer de manière persistante sur le web afin de retrouver des informations factuelles difficiles d’accès et…

Artificial Analysis Coding Agent Index v1.1

Artificial Analysis a conçu le Artificial Analysis Coding Agent Index v1.1 comme un indice composite indépendant consacré aux performances des agents de programmation. Il évalue des modèles associés à des environnements agentiques, afin de mesurer leur capacité à accomplir des tâches…

OpenBookQA

OpenBookQA est un benchmark conçu en 2018 par l’Allen Institute for AI (AI2) et Todor Mihaylov et al. Inspiré des examens à livre ouvert, il évalue la capacité à répondre à des questions scientifiques élémentaires à choix multiple.

Artificial Analysis

Artificial Analysis est un benchmark général consacré à l’évaluation des modèles d’intelligence artificielle. Il propose une lecture synthétique de leurs capacités dans des conditions pensées pour refléter des usages réels.

Global-MMLU

Global-MMLU est un benchmark multilingue conçu en 2024 par Cohere For AI (Cohere Labs), avec des collaborateurs de l’EPFL, Hugging Face, Mila et McGill. Il évalue les connaissances académiques et le raisonnement au moyen de questions à choix multiple traduites dans de nombreuses langues.

DeepSWE

DeepSWE est un benchmark consacré aux agents de génie logiciel. Il évalue la capacité d’un système d’IA à résoudre de manière autonome des problèmes de code issus de situations réelles, depuis l’analyse initiale jusqu’à la mise en œuvre d’une solution.

BBH

BBH, pour Big-Bench Hard, est une suite créée par Mirac Suzgun et ses coauteurs afin d’isoler des tâches de BIG-Bench particulièrement difficiles. Lors des évaluations antérieures, les modèles de langage ne dépassaient pas la moyenne des évaluateurs humains sur ces tâches.