SmartScripto Admin

ScreenSpot Pro

ScreenSpot Pro est un benchmark créé en 2025 par les auteurs ScreenSpot-Pro, Kaixin Li et al. Il évalue l’ancrage visuel dans des interfaces graphiques professionnelles en haute résolution, caractérisées par des éléments minuscules, nombreux et denses.

OSWorld

OSWorld est un benchmark créé en 2024 par Tianbao Xie et al., au sein de XLang Lab et avec plusieurs collaborateurs. Il propose des tâches agentiques interactives réalisées dans de véritables environnements informatiques sous Ubuntu, Windows et macOS.

Include

Include est un benchmark conçu par Angelika Romanou et ses coauteurs à l’EPFL et chez Cohere For AI. Il évalue la compréhension multilingue des modèles à partir de questions issues d’examens locaux, ancrées dans des connaissances régionales et culturelles.

SWE-Lancer (IC-Diamond subset)

SWE-Lancer (IC-Diamond subset) est un benchmark créé par OpenAI à partir de missions freelance réelles publiées sur Upwork. Il porte sur des tâches indépendantes d’ingénierie logicielle, allant de la correction de bugs à l’implémentation de fonctionnalités dans un dépôt existant.

MATH (CoT)

MATH (CoT), créé par D. Hendrycks et al., est un benchmark consacré à des problèmes difficiles issus de compétitions mathématiques. Les exercices couvrent plusieurs niveaux de difficulté et sept domaines, avec des solutions complètes étape par étape.

AMC_2022_23

AMC_2022_23 est un benchmark issu des épreuves officielles de l’American Mathematics Competition de l’année scolaire 2022-2023, organisées par la Mathematical Association of America. Il rassemble des problèmes de mathématiques à choix multiple destinés au niveau lycée.

Reasoning

LiveBench: Reasoning est la catégorie consacrée au raisonnement au sein de LiveBench, un benchmark pour grands modèles de langage créé par l’équipe LiveBench, réunissant notamment Abacus.AI et NYU. Renouvelé chaque mois afin de limiter la contamination, il repose sur des énigmes en…