SmartScripto Admin

TriviaQA

TriviaQA est un benchmark de compréhension de texte créé en 2017 par Mandar Joshi et des chercheurs de l’University of Washington. Il rassemble des questions de culture générale rédigées par des passionnés, associées à des réponses courtes et à des documents de preuve collectés…

TAU-bench Airline

TAU-bench Airline est un benchmark créé par Sierra Research pour évaluer des agents conversationnels dans le domaine aérien. Il repose sur des dialogues dynamiques à plusieurs tours, au cours desquels l’agent échange avec un utilisateur, applique des règles métier et mobilise des API ou…

Tau2 Retail

Tau2 Retail est un benchmark conçu par Sierra Research pour évaluer des agents conversationnels dans des scénarios de service client liés au commerce électronique. Les tâches prennent la forme de dialogues multi-tours au cours desquels l’agent et l’utilisateur peuvent interagir avec des…

AI2D

AI2D est un benchmark créé en 2016 par l’Allen Institute for Artificial Intelligence (AI2) et Kembhavi et al. Il repose sur des diagrammes illustratifs issus des sciences naturelles de niveau scolaire, notamment des réseaux alimentaires, des éléments de physiologie humaine et des cycles…

MVEB Video-Only

MTEB: MVEB Video-Only est un benchmark créé par MTEB (embeddings-benchmark), avec El Assadi, Solomatin, Muennighoff, Enevoldsen et leurs coauteurs. Il évalue la qualité des embeddings vidéo produits par des encodeurs dépourvus de composant textuel.

HMMT 2025

HMMT 2025 est un benchmark de raisonnement mathématique conçu par MathArena à partir de problèmes du Harvard-MIT Mathematics Tournament, une compétition prestigieuse organisée par des étudiants pour des lycéens.

ViDoRe V3

MTEB: ViDoRe V3 est un benchmark conçu par ILLUIN Technology avec NVIDIA pour évaluer la récupération multilingue de documents visuels complexes. Il couvre des contenus d’entreprise multimodaux issus notamment de la finance, de l’industrie, de l’informatique et du secteur pharmaceutique.