SmartScripto Admin

Chess Puzzles

Epoch: Chess Puzzles est un benchmark conçu par Epoch AI pour évaluer le raisonnement spatial et la planification à travers des positions d’échecs. Chaque puzzle demande de sélectionner le meilleur coup, avec une solution unique validée par le moteur Stockfish.

BIG-Bench Hard

BIG-Bench Hard, créé par M. Suzgun et al. en 2022, rassemble des tâches de BIG-Bench sélectionnées parce que les évaluations antérieures de modèles de langage n’y dépassaient pas la performance moyenne d’évaluateurs humains.

TAU-bench Retail

TAU-bench Retail est un benchmark créé par Sierra pour évaluer les agents conversationnels dans des environnements de vente au détail. Il repose sur des échanges dynamiques et multi-tours avec un utilisateur simulé, associés à l’utilisation d’outils métier.

Aider-Polyglot

Aider-Polyglot est un benchmark de programmation créé en 2024 par Aider, sous l’impulsion de Paul Gauthier. Il évalue des modèles d’IA sur des exercices difficiles issus d’Exercism, couvrant plusieurs langages de programmation.

Finance Agent v2

Finance Agent v2 est un benchmark agentique d’analyse financière créé par Vals AI. Il reproduit des tâches issues de workflows financiers réels, fondées sur la recherche d’informations dans des documents et sur leur exploitation raisonnée.

FrontierMath-Tier-4-v2-Private

Epoch: FrontierMath-Tier-4-v2-Private est un benchmark créé par Epoch AI pour évaluer la résolution de problèmes mathématiques originaux de très haut niveau. Il repose sur des questions ouvertes, formulées en anglais, dont les réponses sont courtes ou vérifiables.

MCP Atlas

Créé par Scale AI en 2026, MCP Atlas évalue la capacité des modèles d’IA à utiliser des outils à grande échelle dans des scénarios agentiques complexes. Les tâches imposent un raisonnement en plusieurs étapes et la coordination de plusieurs serveurs et outils réels au moyen du protocole…