SmartScripto Admin

GDPval-AA

GDPval-AA évalue la capacité des modèles d’IA à accomplir un travail intellectuel ayant une valeur économique réelle. Le benchmark original GDPval a été créé par OpenAI, tandis que cette variante est exécutée indépendamment par Artificial Analysis.

GSM8k

GSM8k est un benchmark créé par OpenAI, sous la direction de Karl Cobbe et de ses coauteurs. Il rassemble des problèmes de mathématiques rédigés en anglais, formulés en langage naturel et inspirés du niveau de l’école primaire.

Terminal-Bench 2.0

Terminal-Bench 2.0 est un benchmark créé par l’équipe Terminal-Bench du Laude Institute et de Stanford University. Il évalue la capacité d’agents d’intelligence artificielle à utiliser de manière autonome une interface en ligne de commande pour accomplir des tâches réalistes de bout en…

FrontierMath-2025-02-28-Private

Epoch: FrontierMath-2025-02-28-Private est un snapshot du jeu privé FrontierMath créé par Epoch AI. Il rassemble des problèmes mathématiques originaux et extrêmement difficiles, conçus et vérifiés par des mathématiciens experts, dans des domaines comme la théorie des nombres, l’analyse…

FrontierMath-2025-02-28-Public

Epoch: FrontierMath-2025-02-28-Public est un sous-ensemble public de FrontierMath, créé par Epoch AI. Il rassemble quelques problèmes ouverts en anglais, présentés sous forme d’objets Python, afin d’illustrer et de tester le raisonnement mathématique avancé de niveau recherche.

IFEval

IFEval est un benchmark publié en 2023 par Google Research, dans les travaux de Zhou et al. Il évalue la capacité des grands modèles de langage à suivre précisément des instructions explicites au sein de tâches de génération de texte ouverte.

MGSM

MGSM est un benchmark de raisonnement mathématique multilingue créé par Google Research et F. Shi et al. Il rassemble des problèmes de niveau école primaire issus de GSM8K, puis traduits manuellement dans plusieurs langues typologiquement diverses.