SmartScripto Admin

InfoVQA

Créé par Minesh Mathew et al. en 2021, InfoVQA est un benchmark consacré à la compréhension d’infographies en anglais. Il repose sur des questions ouvertes à réponse courte associées à des images combinant textes, graphiques, données et organisation visuelle.

AGIEval

AGIEval est un benchmark conçu en 2023 par Microsoft Research et Wanjun Zhong et al. Son approche centrée sur l’humain s’appuie sur des examens standardisés issus de contextes académiques et professionnels réels, notamment des concours d’entrée, des tests de droit, des compétitions…

Terminal-Bench 2.1

Terminal-Bench 2.1 est un benchmark créé par le Laude Institute et Stanford University pour évaluer la capacité des agents IA à piloter un ordinateur depuis un terminal. Il repose sur des tâches réelles, complètes et exécutées de manière autonome en ligne de commande.

BFCL

BFCL, créé en 2024 par l’UC Berkeley et la Gorilla LLM team, est un benchmark consacré à l’évaluation du function calling. Il examine la capacité d’un modèle à transformer une instruction en langage naturel en appels de fonctions ou d’outils correctement sélectionnés et structurés selon…

MVEB Video-Text

MTEB: MVEB Video-Text est le sous-ensemble texte-vidéo de MVEB, créé par MTEB (embeddings-benchmark), El Assadi, Solomatin, Muennighoff, Enevoldsen et leurs coauteurs. Il évalue la qualité des représentations conjointes du texte et de la vidéo produites par des modèles dépourvus…

MMLU-ProX

MMLU-ProX est un benchmark public créé en 2025 par l’équipe MMLU-ProX, menée par Weihao Xuan. Extension de MMLU-Pro fondée sur le cadre Massive Multitask Language Understanding, il rassemble des QCM difficiles et parallèles dans plusieurs langues, avec un format étendu pouvant approcher…

ViDoRe (V1&V2)

MTEB: ViDoRe (V1&V2) est un benchmark public de récupération de documents visuels, créé en 2024 par Illuin Technology, au sein de l’équipe ColPali. Il combine les tâches de ViDoRe v1 et v2 autour de documents visuellement riches.