OSWorld 2.0 est un benchmark conçu par XLang Lab et ses collaborateurs pour évaluer des agents multimodaux dans des situations réalistes d’utilisation d’un ordinateur. Il repose sur de longs workflows de bout en bout couvrant des tâches quotidiennes et professionnelles.

DeepSWE 1.1 est un benchmark créé par Together AI et Agentica pour évaluer des agents d’ingénierie logicielle dans le harnais mini-swe-agent. Il examine leur aptitude à traiter des tâches concrètes de résolution de problèmes au sein de dépôts de code.

ZEROBench-Sub est un sous-ensemble de ZEROBench consacré à des sous-questions de raisonnement visuel. Publié en 2025 par les auteurs de ZeroBench, dont Jonathan Roberts et Mohammad Reza Taesiri à l’University of Cambridge, il cible des tâches particulièrement difficiles combinant…

MMLongBench-Doc est un benchmark créé par THU-KEG et al. pour évaluer la compréhension de documents longs par les modèles vision-langage. Il repose sur des questions ouvertes à réponse courte portant sur des PDF riches en contenu visuel.

TheoremQA est un benchmark de questions scientifiques et mathématiques fondées sur des théorèmes, créé par Wenhu Chen et ses coauteurs en 2023. Il couvre notamment les mathématiques, la physique, l’ingénierie électrique, l’informatique et la finance.

Seal-0 est un benchmark public conçu en 2025 par les auteurs de SealQA, Thinh Pham, Nguyen Nguyen, Pratibha Zunjare, Weiyuan Chen, Yu-Min Tseng et Tu Vu. Il évalue les capacités de recherche agentique, notamment l’utilisation d’outils pour retrouver des informations pertinentes.

CMMLU, pour Chinese Massive Multitask Language Understanding, est un benchmark public créé par Haonan Li et ses coauteurs en 2023. Il évalue en chinois les capacités de compréhension, de connaissance et de raisonnement des grands modèles de langage.

V* est un benchmark de raisonnement visuel créé par Penghao Wu et Saining Xie, chercheurs à l’UC San Diego et à la New York University. Publié en 2023, il soumet les modèles multimodaux à des images haute résolution et visuellement denses.

DynaMath est un benchmark de raisonnement mathématique multimodal créé par l’University of Illinois Urbana-Champaign. Il repose sur des problèmes visuels dont plusieurs variantes sont générées par programme, notamment en modifiant des valeurs numériques, des éléments textuels ou des…

EmbSpatialBench est un benchmark conçu en 2024 par Mengfei Du et al., de l’Université Fudan. Il évalue la compréhension et le raisonnement spatial incarné des grands modèles vision-langage, à partir de relations spatiales observées selon une perspective égocentrique.

Créé en 2024 par Chaoyou Fu et ses coauteurs, VideoMME w/o sub. est un benchmark consacré à l’évaluation de la compréhension vidéo par les modèles vision-langage. Il repose sur des QCM portant sur des contenus vidéo variés.

MLVU est un benchmark conçu par les auteurs MLVU, associés au dépôt JUNJIE99 de Junjie Zhou. Publié en 2024, il évalue la compréhension multimodale de vidéos longues à travers des contenus et des tâches variés.

MuirBench est un benchmark académique publié en 2024 par le consortium à l’origine du projet, parmi lequel figurent Pan Lu et lupantech. Il évalue la compréhension robuste de plusieurs images par les grands modèles de langage multimodaux.

DocVQAtest est un benchmark de Visual Question Answering appliqué aux images de documents. Publié en 2020 par Minesh Mathew, Dimosthenis Karatzas et C. V. Jawahar, il repose sur des questions ouvertes en anglais appelant des réponses courtes.

OCRBench-V2 (en) est le sous-ensemble anglophone d’un benchmark bilingue consacré à l’OCR avancé des Large Multimodal Models. Publié en 2024 par le groupe de recherche académique de Yuliang Liu, avec Ling Fu, Zhebin Kuang et leurs coauteurs, il repose sur des questions-réponses centrées…

InfoVQAtest est un benchmark conçu en 2021 par Minesh Mathew et ses coauteurs du CVIT à l’IIIT Hyderabad et du CVC-UAB. Il repose sur des questions ouvertes à réponse courte associées à des images d’infographies en anglais.

CharadesSTA est un benchmark de localisation temporelle d’activités dans des vidéos à partir de requêtes en langage naturel. Créé par Jiyang Gao, Chen Sun, Zhenheng Yang et Ram Nevatia, il étend Charades avec des annotations reliant des phrases descriptives à des segments vidéo…

MultiPL-E est un système conçu par F. Cassano et ses coauteurs pour étendre des benchmarks de génération de code à de nombreux langages de programmation. Il traduit des tâches fondées sur des tests unitaires afin de comparer les modèles au-delà du seul Python.

Claw-Eval est un benchmark conçu par Bowen Ye et ses coauteurs de l’Université de Pékin et de l’Université de Hong Kong pour évaluer des agents autonomes dans des scénarios réalistes, complexes et composés de plusieurs étapes.

MTEB: BEIR-NL est un benchmark public consacré à la recherche d’information zero-shot en néerlandais. Publié en 2024 par Banar, Lotfi et Daelemans, du CLiPS à l’Université d’Anvers, il repose sur une traduction automatique de la suite de tâches BEIR initialement conçue en anglais.

Hallusion Bench est un benchmark public créé en 2023 par Tianyi Guan et ses coauteurs pour évaluer le raisonnement multimodal associant images et contexte textuel. Il confronte les grands modèles vision-langage à des questions en anglais appelant une réponse par oui ou non.

MTEB: CoREB est un benchmark public consacré à la qualité des embeddings et du reranking de code. Publié en 2026 par les auteurs de « Beyond Retrieval: A Multitask Benchmark and Model for Code Search », il couvre la recherche code-vers-texte, texte-vers-code et code-vers-code.

PolyMATH est un benchmark de raisonnement mathématique multimodal publié en 2024 par H. Gupta et ses coauteurs, au sein du groupe de Chitta Baral à l’Arizona State University. Il rassemble des défis cognitifs en anglais associant contenus textuels et visuels sous forme de QCM.

Créé par EVAL SYS en 2025, MCP-Mark évalue la capacité des modèles de langage à utiliser efficacement des outils reposant sur le Model Context Protocol. Il couvre la découverte des outils, leur sélection, leur invocation et l’interprétation des résultats obtenus.

ZEROBench est un benchmark public créé par University of Cambridge et d’autres contributeurs pour éprouver la compréhension visuelle zero-shot. Il confronte les modèles à des problèmes particulièrement difficiles, formulés sous forme de questions ouvertes ou numériques portant sur des…

VideoMME w sub est un benchmark public conçu par Chaoyou Fu et ses coauteurs pour évaluer la compréhension multimodale de vidéos par les modèles d’IA. Il couvre des contenus de durées variées et associe images, sous-titres et audio.

BabyVision est un benchmark conçu par les auteurs Liang Chen, Baobao Chang et leurs collaborateurs d’UniPat-AI. Il évalue des capacités visuelles prélinguistiques à travers des tâches inspirées de la perception enfantine, sans faire dépendre la réussite de connaissances linguistiques.

SimpleVQA est un benchmark de questions-réponses visuelles créé par Xianfu Cheng et ses coauteurs en 2025. Il se concentre sur des requêtes simples, courtes et ancrées dans des connaissances factuelles, auxquelles les modèles doivent fournir une réponse ouverte concise.

Créé par Zeyi Fu et ses coauteurs en 2024, BLINK est un benchmark consacré aux capacités fondamentales de perception visuelle des modèles multimodaux. Il transforme des tâches classiques de vision par ordinateur en QCM associés à une ou plusieurs images, parfois accompagnées…

Global PIQA est un benchmark multilingue consacré au raisonnement de bon sens sur les interactions physiques. Publié en 2025, il résulte d’un effort participatif dirigé par Tyler A. Chang, Catherine Arnett et plus de 335 chercheurs issus de plus de 65 pays.

MTEB: Reasoning Retrieval est un benchmark de recherche documentaire conçu pour évaluer la capacité des modèles à relier des requêtes à des documents pertinents lorsque cette association exige un raisonnement approfondi, au-delà de simples ressemblances lexicales.

OCRBench_V2 est un benchmark bilingue conçu en 2024 par Ling Fu, Zhebin Kuang, Yuliang Liu et les autres auteurs d’OCRBench v2. Il évalue la capacité des grands modèles multimodaux à traiter le texte présent dans des images, en anglais comme en chinois.

MathArena Apex est un benchmark de mathématiques conçu en 2025 par SRI Lab, à l’ETH Zurich, et INSAIT. Il rassemble des problèmes particulièrement difficiles de niveau olympiade, formulés en anglais et demandant une réponse finale.

MMMU (val), créé par Xiang Yue et ses collaborateurs en 2023, est l’ensemble de validation du benchmark Massive Multi-discipline Multimodal Understanding and Reasoning. Il rassemble des questions de niveau universitaire associant du texte à différents supports visuels, notamment des…

VBench: Total est une suite d’évaluation créée en 2023 par la Vchitect Team et ses collaborateurs pour comparer les modèles génératifs vidéo, notamment les systèmes texte-vers-vidéo. Elle s’appuie sur des prompts en anglais et sur des métriques automatiques.

VBench: Créativité (VBench 2.0), créé par Vchitect et al., est un benchmark consacré aux modèles de génération vidéo. À partir de prompts textuels en anglais, il évalue automatiquement leur capacité à produire des vidéos créatives, originales et variées.

Créé par Kanzhi Cheng et al. en 2024, ScreenSpot est un benchmark de grounding visuel consacré aux interfaces graphiques. Il évalue la capacité d’un modèle multimodal ou d’un agent visuel à comprendre une capture d’écran et à localiser précisément l’élément désigné par une instruction en…

Créé par Lin Chen et ses coauteurs en 2024, MMStar est un benchmark multimodal conçu autour de tâches pour lesquelles l’image est indispensable. Ses questions évaluent conjointement la perception visuelle, le raisonnement multimodal, la compréhension fine et la résolution de problèmes…

Créé par Pan Lu et al. en 2023, MathVista-Mini est une version réduite de MathVista consacrée au raisonnement mathématique en contexte visuel. Ses questions multimodales associent mathématiques, compréhension d’images et interprétation de diagrammes, tableaux, figures ou scènes.

MMMU (validation), créé par Xiang Yue et al., est le jeu de validation d’un benchmark consacré à la compréhension et au raisonnement multimodaux de niveau universitaire. Il confronte les modèles à des questions associant texte et images dans un large éventail de disciplines.

Codegolf v2.2 est un benchmark de code golf multimodal créé en 2025 par Andreas Ebner dans le cadre du projet ClawBattle / beowolve. Il demande aux modèles de reproduire une cible visuelle en générant le code HTML et CSS le plus court possible.

BBH, pour Big-Bench Hard, est une suite créée par Mirac Suzgun et ses coauteurs afin d’isoler des tâches de BIG-Bench particulièrement difficiles. Lors des évaluations antérieures, les modèles de langage ne dépassaient pas la moyenne des évaluateurs humains sur ces tâches.

SciCode est un benchmark de codage scientifique de recherche conçu par SciCode-bench, une collaboration académique réunissant plusieurs institutions. Élaboré par des scientifiques, il soumet les modèles de langage à des problèmes issus de plusieurs sous-domaines des sciences naturelles,…

OCRBench est un benchmark créé en 2023 par Yuliang Liu et ses coauteurs pour évaluer les capacités de reconnaissance optique de caractères des grands modèles multimodaux.

SQuALITY est un benchmark de compréhension de longs documents et de résumé abstrait orienté question. Il s’appuie sur des nouvelles du domaine public, lues puis résumées à partir de zéro par des contributeurs qualifiés, afin de produire des synthèses originales, fidèles et centrées sur…

Multilingual MMLU est un benchmark public conçu par les auteurs de MMLU-ProX, Weihao Xuan et al., et publié en 2025. Héritier de MMLU-Pro, il repose sur des questions à choix multiple exigeantes, centrées sur le raisonnement et les connaissances académiques multidisciplinaires.

CyberGym est un benchmark de cybersécurité créé en 2025 par une équipe de l’UC Berkeley menée par Dawn Song. Il évalue des agents IA dans un environnement contrôlé, à travers des tâches fondées sur des vulnérabilités logicielles réelles.

BrowseComp-zh est un benchmark à haute difficulté conçu par les auteurs de BrowseComp-ZH, Peilin Zhou et al., pour évaluer les agents fondés sur des LLM dans l’environnement du web chinois.

OSWorld est un benchmark créé en 2024 par Tianbao Xie et al., au sein de XLang Lab et avec plusieurs collaborateurs. Il propose des tâches agentiques interactives réalisées dans de véritables environnements informatiques sous Ubuntu, Windows et macOS.

ScreenSpot Pro est un benchmark créé en 2025 par les auteurs ScreenSpot-Pro, Kaixin Li et al. Il évalue l’ancrage visuel dans des interfaces graphiques professionnelles en haute résolution, caractérisées par des éléments minuscules, nombreux et denses.

MATH (CoT), créé par D. Hendrycks et al., est un benchmark consacré à des problèmes difficiles issus de compétitions mathématiques. Les exercices couvrent plusieurs niveaux de difficulté et sept domaines, avec des solutions complètes étape par étape.

EgoSchema est un benchmark de compréhension vidéo en contexte égocentrique, créé en 2023 par K. Mangalam, R. Akshulakov et J. Malik. Il repose sur des questions à choix multiples élaborées par des humains à partir de séquences issues d’Ego4D.

Video-MME est un benchmark public conçu en 2024 par Chaoyou Fu et ses coauteurs pour évaluer la compréhension vidéo des Multi-modal Large Language Models. Il examine notamment leur capacité à raisonner sur les dimensions visuelles et temporelles de vidéos aux formats et durées variés.

TruthfulQA est un benchmark créé en 2021 par Stephanie Lin, Jacob Hilton et Owain Evans pour évaluer la véracité des réponses produites par les modèles de langage. Ses questions sont délibérément conçues pour susciter des erreurs inspirées d’idées reçues, de croyances fausses ou de…

MathVision est un benchmark créé en 2024 par l’équipe MATH-Vision (mathllm) pour évaluer le raisonnement mathématique multimodal. Il réunit des problèmes dont la résolution exige de combiner la compréhension d’éléments visuels avec des opérations de raisonnement mathématique.

VBench: Stabilité temporelle est une dimension de la suite publique VBench, créée par Vchitect et Huang et al. pour évaluer les modèles de génération vidéo. Elle examine automatiquement la cohérence visuelle entre les images successives d’une vidéo produite à partir de prompts textuels…

VBench: Cohérence du sujet est une dimension de la suite VBench, créée par Vchitect et al. pour évaluer les modèles de génération vidéo. Elle examine automatiquement des vidéos produites à partir de prompts textuels en anglais.

VBench: Qualité visuelle est un benchmark conçu par Vchitect et al. pour évaluer les modèles de génération vidéo à partir de prompts textuels en anglais. Il s’inscrit dans une suite structurée en dimensions fines, consacrées à la qualité visuelle et à l’alignement sémantique.

VBench: Fluidité du mouvement est une dimension de la suite publique VBench, créée par Vchitect en 2023 pour évaluer les modèles de génération vidéo. La suite couvre plusieurs aspects de la qualité visuelle, de la cohérence temporelle et de l’alignement avec les prompts.

VBench: Qualité d'image est une dimension de la suite publique VBench, créée par Vchitect et al. pour évaluer les modèles de génération vidéo à partir de prompts textuels en anglais.

VBench: Actions humaines est une dimension de la suite VBench, créée en 2023 par Vchitect et les auteurs de VBench pour évaluer les modèles de génération vidéo. Elle examine la fidélité avec laquelle un système texte-vers-vidéo représente une action humaine formulée en anglais.

VBench: Amplitude du mouvement est une dimension de la suite publique VBench, créée en 2023 par Ziqi Huang et l’équipe Vchitect pour évaluer les modèles de génération vidéo.

VBench: Qualité esthétique est une dimension de la suite publique VBench, créée par Ziqi Huang et ses collègues de Vchitect pour évaluer les modèles de génération vidéo. Elle porte sur des vidéos produites à partir de prompts textuels en anglais.

Bird-SQL (dev) est le split de développement de BIRD, un benchmark public créé par Jinyang Li et al. au sein de la BIRD team. Il évalue la génération de requêtes SQL à partir de questions formulées en anglais, dans des scénarios fondés sur des bases de données réalistes, aux schémas…

Créé par Minesh Mathew et al. en 2021, InfoVQA est un benchmark consacré à la compréhension d’infographies en anglais. Il repose sur des questions ouvertes à réponse courte associées à des images combinant textes, graphiques, données et organisation visuelle.

MMLU-ProX est un benchmark public créé en 2025 par l’équipe MMLU-ProX, menée par Weihao Xuan. Extension de MMLU-Pro fondée sur le cadre Massive Multitask Language Understanding, il rassemble des QCM difficiles et parallèles dans plusieurs langues, avec un format étendu pouvant approcher…

MMLU-Redux est une version améliorée de MMLU, créée en 2024 par Aryo Pradipta Gema et des chercheurs de l’University of Edinburgh. Ses questions ont été ré-annotées manuellement afin d’identifier et de corriger des erreurs présentes dans le jeu original.

MTEB: BEIR est un benchmark créé par Nandan Thakur et al. en 2021 pour évaluer la recherche d’information zero-shot. Il confronte les modèles à des requêtes associées à des corpus de documents qu’ils doivent classer, dans un ensemble hétérogène de tâches et de domaines.

PIQA, créé par Yonatan Bisk et ses coauteurs, est un benchmark consacré au raisonnement de sens commun physique en langage naturel. Il confronte les modèles à des situations quotidiennes impliquant des interactions avec le monde matériel et leur demande de choisir la solution la plus…

MedXpertQA est un benchmark médical conçu en 2025 par le laboratoire C3I de l’Université Tsinghua. Il évalue les connaissances médicales et le raisonnement clinique de niveau expert à partir de questions issues d’examens médicaux spécialisés.

OSWorld-Verified est un sous-ensemble vérifié d’OSWorld, conçu en 2025 par XLang Lab, à l’University of Hong Kong. Il propose un environnement informatique réel et évolutif dans lequel des agents multimodaux accomplissent des tâches ouvertes sur Ubuntu, Windows et macOS.

TriviaQA est un benchmark de compréhension de texte créé en 2017 par Mandar Joshi et des chercheurs de l’University of Washington. Il rassemble des questions de culture générale rédigées par des passionnés, associées à des réponses courtes et à des documents de preuve collectés…

BIG-Bench Hard, créé par M. Suzgun et al. en 2022, rassemble des tâches de BIG-Bench sélectionnées parce que les évaluations antérieures de modèles de langage n’y dépassaient pas la performance moyenne d’évaluateurs humains.

ChartQA est un benchmark créé par Ahmed Masry et ses coauteurs en 2022 pour évaluer la compréhension de graphiques par les modèles d’intelligence artificielle. Il repose sur des questions ouvertes à réponse courte, formulées en anglais, dont les réponses peuvent être textuelles ou…

DocVQA est un benchmark de questions-réponses visuelles consacré aux images de documents. Créé par M. Mathew, D. Karatzas et R. Manmatha en 2020, il évalue la capacité des modèles à lire un document, à en comprendre le contenu et à repérer les informations utiles.

MathVista est un benchmark créé par P. Lu et al. pour évaluer le raisonnement mathématique des modèles de fondation dans des contextes visuels. Il associe l’interprétation de figures, diagrammes, graphiques et images à des calculs ou à des inférences mathématiques.

MMMU-Pro est un benchmark public conçu en 2024 par l’équipe MMMU, notamment Xiang Yue et Tianyu Zheng. Il évalue la compréhension et le raisonnement multimodaux dans plusieurs disciplines, à partir de contenus combinant texte et image.

Créé par Xiang Yue et ses coauteurs en 2023, MMMU, pour Massive Multi-discipline Multimodal Understanding, est un benchmark consacré à l’évaluation de modèles multimodaux sur des contenus de niveau universitaire.

Epoch: MATH level 5 est une évaluation issue du benchmark MATH, créé par D. Hendrycks et ses coauteurs en 2021. Elle porte sur le sous-ensemble réunissant les problèmes de difficulté maximale, tirés de mathématiques de compétition et accompagnés de solutions.

Créé par Naman Jain et al. en 2024, LiveCodeBench est un benchmark évolutif consacré aux grands modèles de langage spécialisés dans le code. Il collecte en continu des problèmes récents issus de concours de programmation afin de limiter la contamination par les données d’entraînement.

Publié en 2021 par D. Hendrycks et ses coauteurs, MATH est un benchmark consacré à la résolution de problèmes issus de concours de mathématiques. Ses questions ouvertes exigent une réponse courte, accompagnée dans le jeu de données d’une solution détaillée étape par étape.

MMLU, pour Massive Multitask Language Understanding, est un benchmark créé par D. Hendrycks et ses coauteurs en 2020. Il évalue les connaissances d’un modèle dans des domaines variés, notamment les sciences, les sciences humaines, les sciences sociales et les disciplines professionnelles.

Epoch: GPQA diamond est un benchmark créé par D. Rein et al. pour évaluer des modèles sur des questions scientifiques à choix multiple de niveau doctorat. Son contenu mobilise notamment des connaissances avancées en biologie, en chimie et en physique.

GPQA est un benchmark publié en 2023 par David Rein et al. Il rassemble des questions à choix multiple rédigées par des spécialistes de la biologie, de la chimie et de la physique, avec un niveau de difficulté élevé et une conception visant à résister aux recherches sur le web.

VLMsAreBlind est un benchmark multimodal créé en 2024 par Anh Totti Nguyen et ses collaborateurs à Auburn University et à l’University of Alberta. Il examine les angles morts des modèles vision-langage au moyen de questions visuelles simples appelant des réponses courtes.

TIR-Bench est un benchmark de raisonnement multimodal agentique créé en 2025 par agents-x-project, au sein de l’équipe TIR-Bench menée par Ming Li et ses coauteurs. Il évalue la capacité des modèles à « penser avec les images » en intégrant leur création et leur manipulation par des…

SlakeVQA est un benchmark de visual question answering médical créé par Bo Liu et ses coauteurs en 2021. Il associe des images radiologiques à des questions ouvertes et à des réponses courtes en anglais et en chinois, avec des annotations réalisées par des médecins expérimentés.

MMMUval est le jeu de validation du benchmark MMMU, créé par Xiang Yue et ses coauteurs en 2023. Il évalue la compréhension multimodale et le raisonnement délibéré à partir de problèmes de niveau universitaire, combinant questions à choix multiple, réponses courtes et entrées multimodales.