SmartScripto Admin

SuperGPQA

SuperGPQA est un benchmark conçu par M-A-P, ByteDance Seed et 2077.AI pour évaluer les grands modèles de langage sur des questions académiques de niveau master et doctorat. Il couvre un large éventail de disciplines, notamment des domaines spécialisés rarement représentés dans les…

German

MTEB: German est un benchmark communautaire créé par MTEB / MMTEB pour évaluer la qualité des plongements de texte en allemand. Il couvre plusieurs usages complémentaires, notamment la classification, le clustering, la classification de paires, le reranking, la recherche et la similarité…

Korean

MTEB: Korean est un benchmark communautaire créé par MTEB / MMTEB pour évaluer la qualité des plongements de texte en coréen. Il couvre plusieurs usages complémentaires : classification, reranking, recherche d’information et similarité sémantique.

French

MTEB: French est un benchmark consacré à la qualité des plongements de texte en français. Publié en 2024 par Lyon-NLP, avec Ciancone, Kerboua, Schaeffer et Sequeira, ainsi que par la communauté MTEB, il repose sur des jeux de données natifs français de haute qualité.

TAU3-Bench

Créé par Sierra Research, TAU3-Bench évalue les capacités d’agents généralistes dans des scénarios de service client en anglais. Il met en jeu des interactions multi-tours avec un utilisateur simulé, la recherche d’informations, l’appel d’outils et des prises de décision complexes.

Beyond AIME

Beyond AIME est un benchmark de raisonnement mathématique publié en 2025 par l’équipe Seed de ByteDance. Il rassemble des problèmes originaux de niveau compétition, à réponse courte ou numérique, conçus pour limiter la mémorisation.

Tau-bench

Créé par Sierra Research en 2024, Tau-bench évalue des agents de langage dans des interactions dynamiques proches de scénarios métier. Les tâches associent un utilisateur simulé, des conversations en anglais, des règles propres à un domaine et l’utilisation d’outils ou d’API.