SmartScripto Admin

Toolathlon

Toolathlon est un benchmark créé en 2025 par HKUST-NLP pour évaluer des agents d’IA confrontés à des tâches réalistes et longues nécessitant plusieurs outils. Les scénarios sollicitent différentes applications au fil d’interactions prolongées.

HellaSwag

HellaSwag est un benchmark de raisonnement de bon sens créé en 2019 par Rowan Zellers et ses coauteurs, rattachés à l’University of Washington et à l’Allen Institute for AI. Il demande aux modèles de sélectionner, parmi plusieurs complétions, la suite la plus plausible d’une situation…

MRCR v2 (8-needle)

Créé par OpenAI en 2025, MRCR v2 (8-needle) est une variante du benchmark Multi-Round Coreference Resolution consacrée aux très longs contextes. Il demande aux modèles de retrouver plusieurs éléments ciblés, appelés « aiguilles », au sein de conversations étendues contenant des demandes…

ChartQA

ChartQA est un benchmark créé par Ahmed Masry et ses coauteurs en 2022 pour évaluer la compréhension de graphiques par les modèles d’intelligence artificielle. Il repose sur des questions ouvertes à réponse courte, formulées en anglais, dont les réponses peuvent être textuelles ou…

MBPP

Créé par Google Research, avec J. Austin et ses coauteurs, MBPP est un benchmark consacré à la génération de code. Il rassemble des problèmes Python issus de contributions participatives, conçus pour être accessibles à des programmeurs débutants.

Tau2 Telecom

Créé par Sierra Research, Tau2 Telecom est un benchmark consacré aux agents conversationnels capables d’utiliser des outils dans des scénarios de dépannage télécom. Il modélise ces interactions comme un environnement partagé en dual-control, de type Dec-POMDP, dans lequel l’agent et…

CharXiv-R

CharXiv-R est le volet consacré au raisonnement du benchmark CharXiv, créé en 2024 par Zirui Wang, Danqi Chen, Sanjeev Arora et d’autres chercheurs de Princeton University. Il repose sur des graphiques scientifiques réels issus d’articles arXiv et sur des questions ouvertes en anglais.