SmartScripto Admin

MT-Bench

MT-Bench est un benchmark publié en 2023 par LMSYS Org (Zheng et al.) pour évaluer les capacités conversationnelles des grands modèles de langage. Il repose sur des échanges ouverts en plusieurs tours, examinés par un autre LLM agissant comme juge.

AIME 2026

AIME 2026 réunit les 30 problèmes des épreuves AIME I et AIME II conçues par la Mathematical Association of America. Ces questions ouvertes, issues des mathématiques de niveau olympiade, attendent une réponse entière courte et mobilisent des raisonnements complexes.

VideoMMMU

VideoMMMU est un benchmark créé en 2025 par EvolvingLMMs-Lab pour évaluer la capacité des grands modèles multimodaux à acquérir des connaissances à partir de vidéos professionnelles de niveau expert.

RTEB Healthcare

MTEB: RTEB Healthcare est un benchmark créé par Hugging Face dans le cadre du projet RTEB / embedding-benchmark. Ce sous-ensemble spécialisé évalue la qualité de récupération d’embeddings dans les domaines de la santé et de la médecine, à partir de tâches représentatives d’usages réels…

BEIR

MTEB: BEIR est un benchmark créé par Nandan Thakur et al. en 2021 pour évaluer la recherche d’information zero-shot. Il confronte les modèles à des requêtes associées à des corpus de documents qu’ils doivent classer, dans un ensemble hétérogène de tâches et de domaines.

Social IQa

Social IQa est un benchmark conçu en 2019 par Maarten Sap et ses coauteurs, rattachés à l’Allen Institute for AI et à l’University of Washington. Il constitue le premier benchmark à grande échelle consacré au raisonnement de sens commun sur les situations sociales.

HealthBench Hard

HealthBench Hard est une déclinaison exigeante de HealthBench, créée par OpenAI pour évaluer la performance et la sécurité des grands modèles de langage dans le domaine de la santé. Elle repose sur des conversations multi-tours portant sur des situations cliniques complexes ou ambiguës.