ZEROBench-Sub est un sous-ensemble de ZEROBench consacré à des sous-questions de raisonnement visuel. Publié en 2025 par les auteurs de ZeroBench, dont Jonathan Roberts et Mohammad Reza Taesiri à l’University of Cambridge, il cible des tâches particulièrement difficiles combinant…

WorldVQA est un benchmark consacré aux connaissances du monde mobilisées à partir d’éléments visuels. Conçu autour d’une approche centrée sur la vision, il évalue la capacité des modèles à reconnaître des informations visuelles liées au réel, puis à les intégrer dans un raisonnement.

MMLongBench-Doc est un benchmark créé par THU-KEG et al. pour évaluer la compréhension de documents longs par les modèles vision-langage. Il repose sur des questions ouvertes à réponse courte portant sur des PDF riches en contenu visuel.

RefSpatialBench est un benchmark créé par la Beijing Academy of Artificial Intelligence (BAAI) pour évaluer la compréhension des références spatiales et leur ancrage dans des scènes réelles.

CountBench est un benchmark conçu par Google Research et le Weizmann Institute of Science pour évaluer le comptage d’objets dans des images. Il examine la capacité des modèles à relier le contenu visuel à une compréhension quantitative exprimée en langage.

V* est un benchmark de raisonnement visuel créé par Penghao Wu et Saining Xie, chercheurs à l’UC San Diego et à la New York University. Publié en 2023, il soumet les modèles multimodaux à des images haute résolution et visuellement denses.

RefCOCO-avg est un benchmark d’ancrage visuel qui évalue la capacité d’un modèle à relier une expression en anglais à un objet dans une image, puis à le localiser au moyen d’une boîte englobante.

Créé en 2024 par Chaoyou Fu et ses coauteurs, VideoMME w/o sub. est un benchmark consacré à l’évaluation de la compréhension vidéo par les modèles vision-langage. Il repose sur des QCM portant sur des contenus vidéo variés.

MLVU est un benchmark conçu par les auteurs MLVU, associés au dépôt JUNJIE99 de Junjie Zhou. Publié en 2024, il évalue la compréhension multimodale de vidéos longues à travers des contenus et des tâches variés.

OCRBench-V2 (zh) est le sous-ensemble chinois d’un benchmark consacré à l’évaluation des grands modèles multimodaux face au texte présent dans les images. Il a été créé par la Huazhong University of Science and Technology, la South China University of Technology, l’University of Adelaide…

MuirBench est un benchmark académique publié en 2024 par le consortium à l’origine du projet, parmi lequel figurent Pan Lu et lupantech. Il évalue la compréhension robuste de plusieurs images par les grands modèles de langage multimodaux.

DocVQAtest est un benchmark de Visual Question Answering appliqué aux images de documents. Publié en 2020 par Minesh Mathew, Dimosthenis Karatzas et C. V. Jawahar, il repose sur des questions ouvertes en anglais appelant des réponses courtes.

OCRBench-V2 (en) est le sous-ensemble anglophone d’un benchmark bilingue consacré à l’OCR avancé des Large Multimodal Models. Publié en 2024 par le groupe de recherche académique de Yuliang Liu, avec Ling Fu, Zhebin Kuang et leurs coauteurs, il repose sur des questions-réponses centrées…

InfoVQAtest est un benchmark conçu en 2021 par Minesh Mathew et ses coauteurs du CVIT à l’IIIT Hyderabad et du CVC-UAB. Il repose sur des questions ouvertes à réponse courte associées à des images d’infographies en anglais.

CharadesSTA est un benchmark de localisation temporelle d’activités dans des vidéos à partir de requêtes en langage naturel. Créé par Jiyang Gao, Chen Sun, Zhenheng Yang et Ram Nevatia, il étend Charades avec des annotations reliant des phrases descriptives à des segments vidéo…

ODinW, pour Object Detection in the Wild, est un benchmark publié par Microsoft en 2021 par l’équipe GLIP, notamment Liunian Harold Li et Pengchuan Zhang. Il évalue la capacité de modèles de détection d’objets à transférer leurs acquis vers des jeux de données réels diversifiés.

Hallusion Bench est un benchmark public créé en 2023 par Tianyi Guan et ses coauteurs pour évaluer le raisonnement multimodal associant images et contexte textuel. Il confronte les grands modèles vision-langage à des questions en anglais appelant une réponse par oui ou non.

MVBench est un benchmark public de compréhension vidéo multimodale créé en 2023 par OpenGVLab, le Shanghai AI Laboratory et d’autres contributeurs. Il réunit des tâches vidéo conçues à partir d’annotations existantes selon une méthode de génération allant du statique au dynamique.

CC-OCR est un benchmark conçu en 2024 par Alibaba Group, via Alibaba Research et l’équipe Qwen, pour évaluer les capacités de lecture des Large Multimodal Models. Il couvre la reconnaissance de texte dans des scènes variées et plusieurs langues, y compris les textes orientés de…

ZEROBench est un benchmark public créé par University of Cambridge et d’autres contributeurs pour éprouver la compréhension visuelle zero-shot. Il confronte les modèles à des problèmes particulièrement difficiles, formulés sous forme de questions ouvertes ou numériques portant sur des…

VideoMME w sub est un benchmark public conçu par Chaoyou Fu et ses coauteurs pour évaluer la compréhension multimodale de vidéos par les modèles d’IA. Il couvre des contenus de durées variées et associe images, sous-titres et audio.

BabyVision est un benchmark conçu par les auteurs Liang Chen, Baobao Chang et leurs collaborateurs d’UniPat-AI. Il évalue des capacités visuelles prélinguistiques à travers des tâches inspirées de la perception enfantine, sans faire dépendre la réussite de connaissances linguistiques.

Créé par Zeyi Fu et ses coauteurs en 2024, BLINK est un benchmark consacré aux capacités fondamentales de perception visuelle des modèles multimodaux. Il transforme des tâches classiques de vision par ordinateur en QCM associés à une ou plusieurs images, parfois accompagnées…

SimpleVQA est un benchmark de questions-réponses visuelles créé par Xianfu Cheng et ses coauteurs en 2025. Il se concentre sur des requêtes simples, courtes et ancrées dans des connaissances factuelles, auxquelles les modèles doivent fournir une réponse ouverte concise.

LVBench est un benchmark de compréhension de vidéos extrêmement longues, créé en 2024 par Zhipu AI (Z.ai) et Tsinghua University. Il évalue des modèles multimodaux sur des vidéos pouvant atteindre environ deux heures, à travers des questions à choix multiples en anglais.

OCRBench_V2 est un benchmark bilingue conçu en 2024 par Ling Fu, Zhebin Kuang, Yuliang Liu et les autres auteurs d’OCRBench v2. Il évalue la capacité des grands modèles multimodaux à traiter le texte présent dans des images, en anglais comme en chinois.

MMMU (val), créé par Xiang Yue et ses collaborateurs en 2023, est l’ensemble de validation du benchmark Massive Multi-discipline Multimodal Understanding and Reasoning. Il rassemble des questions de niveau universitaire associant du texte à différents supports visuels, notamment des…

Créé par Kanzhi Cheng et al. en 2024, ScreenSpot est un benchmark de grounding visuel consacré aux interfaces graphiques. Il évalue la capacité d’un modèle multimodal ou d’un agent visuel à comprendre une capture d’écran et à localiser précisément l’élément désigné par une instruction en…

MMBench-V1.1 est un benchmark bilingue créé par Shanghai AI Laboratory et plusieurs collaborateurs pour évaluer les modèles vision-langage. Cette version améliorée s’appuie sur des questions à choix multiple en anglais et en chinois afin de comparer leurs capacités multimodales.

Créé par Lin Chen et ses coauteurs en 2024, MMStar est un benchmark multimodal conçu autour de tâches pour lesquelles l’image est indispensable. Ses questions évaluent conjointement la perception visuelle, le raisonnement multimodal, la compréhension fine et la résolution de problèmes…

MMMU (validation), créé par Xiang Yue et al., est le jeu de validation d’un benchmark consacré à la compréhension et au raisonnement multimodaux de niveau universitaire. Il confronte les modèles à des questions associant texte et images dans un large éventail de disciplines.

OCRBench est un benchmark créé en 2023 par Yuliang Liu et ses coauteurs pour évaluer les capacités de reconnaissance optique de caractères des grands modèles multimodaux.

ERQA est un benchmark de Google DeepMind consacré au raisonnement incarné, c’est-à-dire à la compréhension d’interactions avec le monde physique à partir d’informations visuelles et textuelles entrelacées. Il repose sur des questions visuelles à choix multiples.

Créé par xAI en 2024, RealWorldQA évalue la compréhension visuelle élémentaire du monde réel par les modèles multimodaux. Il s’appuie sur des images anonymisées prises depuis des véhicules et dans d’autres situations concrètes, accompagnées de questions ouvertes appelant des réponses…

GDP.pdf est un benchmark de vision consacré au travail intellectuel à valeur économique. Il soumet les modèles à des tâches professionnelles présentées sous forme de documents visuels, notamment des PDF, afin d’évaluer leur capacité à exploiter des informations structurées.

ARC-AGI est un benchmark de raisonnement abstrait créé par François Chollet en 2019. Il repose sur des tâches visuelles dans lesquelles quelques paires de grilles illustrent une transformation gouvernée par une règle implicite.

MMBench est un benchmark bilingue créé en 2023 par Shanghai AI Laboratory et OpenCompass, dans le cadre des travaux de Y. Liu et al. Il évalue les capacités multimodales des modèles de vision et de langage au moyen de questions à choix multiples en anglais et en chinois.

OmniDocBench 1.5 est un benchmark créé par OpenDataLab pour évaluer la compréhension et le parsing de documents par les grands modèles multimodaux. Il couvre notamment l’OCR, l’extraction d’information, l’analyse de la mise en page, les tables, les formules et la réponse à des questions…

CharXiv-D est le sous-ensemble descriptif de CharXiv, un benchmark publié en 2024 par Princeton Language and Intelligence, UW-Madison et l’University of Hong Kong. Il repose sur des graphiques scientifiques réels et diversifiés provenant d’articles arXiv, avec des questions élaborées et…

ScreenSpot Pro est un benchmark créé en 2025 par les auteurs ScreenSpot-Pro, Kaixin Li et al. Il évalue l’ancrage visuel dans des interfaces graphiques professionnelles en haute résolution, caractérisées par des éléments minuscules, nombreux et denses.

EgoSchema est un benchmark de compréhension vidéo en contexte égocentrique, créé en 2023 par K. Mangalam, R. Akshulakov et J. Malik. Il repose sur des questions à choix multiples élaborées par des humains à partir de séquences issues d’Ego4D.

Video-MME est un benchmark public conçu en 2024 par Chaoyou Fu et ses coauteurs pour évaluer la compréhension vidéo des Multi-modal Large Language Models. Il examine notamment leur capacité à raisonner sur les dimensions visuelles et temporelles de vidéos aux formats et durées variés.

MM-MT-Bench est un benchmark créé par Mistral AI en 2024 pour évaluer des modèles multimodaux ajustés au suivi d’instructions. Il repose sur des dialogues en anglais combinant texte et images, organisés sur plusieurs tours.

Graphwalks parents >128k est un benchmark de raisonnement sur des graphes créé par OpenAI en 2025. Il évalue la capacité des modèles de langage à exploiter un contexte dépassant 128 000 tokens pour retrouver les nœuds parents dans des graphes encodés sous forme de hash hexadécimaux.

Créé par Minesh Mathew et al. en 2021, InfoVQA est un benchmark consacré à la compréhension d’infographies en anglais. Il repose sur des questions ouvertes à réponse courte associées à des images combinant textes, graphiques, données et organisation visuelle.

Vibe-Eval est une suite d’évaluation créée par Reka AI pour mesurer la compréhension multimodale image-texte et le raisonnement visuel difficile. Elle repose sur des questions visuelles ouvertes accompagnées de réponses de référence rédigées par des experts.

VideoMMMU est un benchmark créé en 2025 par EvolvingLMMs-Lab pour évaluer la capacité des grands modèles multimodaux à acquérir des connaissances à partir de vidéos professionnelles de niveau expert.

MedXpertQA est un benchmark médical conçu en 2025 par le laboratoire C3I de l’Université Tsinghua. Il évalue les connaissances médicales et le raisonnement clinique de niveau expert à partir de questions issues d’examens médicaux spécialisés.

Graphwalks parents <128k est un benchmark créé par OpenAI pour évaluer le raisonnement structurel sur des graphes encodés dans un contexte long. Les tâches demandent d’identifier les nœuds parents d’un nœud donné, à partir des relations d’arêtes représentées par des hachages hexadécimaux.

Graphwalks BFS <128k est un benchmark créé par OpenAI pour évaluer le raisonnement relationnel et structurel sur des graphes dans des contextes longs. Les graphes, représentés par des hachages hexadécimaux, encodent notamment des relations parent-enfant à suivre à travers le contexte.

Graphwalks BFS >128k est un benchmark créé par OpenAI pour évaluer le raisonnement relationnel sur des graphes dans des contextes dépassant 128k tokens. Il soumet les modèles à des graphes synthétiques composés d’arêtes orientées.

TextVQA est un benchmark conçu en 2019 par Amanpreet Singh et ses coauteurs, issus de Facebook AI Research et de Georgia Tech. Il évalue la capacité des modèles multimodaux à lire le texte visible dans une image, puis à raisonner sur ce contenu afin de répondre à une question visuelle.

AI2D est un benchmark créé en 2016 par l’Allen Institute for Artificial Intelligence (AI2) et Kembhavi et al. Il repose sur des diagrammes illustratifs issus des sciences naturelles de niveau scolaire, notamment des réseaux alimentaires, des éléments de physiologie humaine et des cycles…

ARC-AGI v2 est un benchmark de raisonnement abstrait créé en 2025 par l’ARC Prize Foundation, notamment François Chollet, Mike Knoop et Gregory Kamradt. Il repose sur des grilles visuelles colorées dont il faut déduire la règle de transformation à partir de quelques paires entrée-sortie.

ChartQA est un benchmark créé par Ahmed Masry et ses coauteurs en 2022 pour évaluer la compréhension de graphiques par les modèles d’intelligence artificielle. Il repose sur des questions ouvertes à réponse courte, formulées en anglais, dont les réponses peuvent être textuelles ou…

CharXiv-R est le volet consacré au raisonnement du benchmark CharXiv, créé en 2024 par Zirui Wang, Danqi Chen, Sanjeev Arora et d’autres chercheurs de Princeton University. Il repose sur des graphiques scientifiques réels issus d’articles arXiv et sur des questions ouvertes en anglais.

DocVQA est un benchmark de questions-réponses visuelles consacré aux images de documents. Créé par M. Mathew, D. Karatzas et R. Manmatha en 2020, il évalue la capacité des modèles à lire un document, à en comprendre le contenu et à repérer les informations utiles.

MMMU-Pro est un benchmark public conçu en 2024 par l’équipe MMMU, notamment Xiang Yue et Tianyu Zheng. Il évalue la compréhension et le raisonnement multimodaux dans plusieurs disciplines, à partir de contenus combinant texte et image.

Créé par Xiang Yue et ses coauteurs en 2023, MMMU, pour Massive Multi-discipline Multimodal Understanding, est un benchmark consacré à l’évaluation de modèles multimodaux sur des contenus de niveau universitaire.

VLMsAreBlind est un benchmark multimodal créé en 2024 par Anh Totti Nguyen et ses collaborateurs à Auburn University et à l’University of Alberta. Il examine les angles morts des modèles vision-langage au moyen de questions visuelles simples appelant des réponses courtes.

SUNRGBD est un benchmark public consacré à la compréhension de scènes intérieures à partir d’images RGB-D. Publié en 2015 par Shuran Song, Samuel P. Lichtenberg et Jianxiong Xiao, de Princeton University, il associe informations visuelles et données de profondeur afin d’évaluer…

SlakeVQA est un benchmark de visual question answering médical créé par Bo Liu et ses coauteurs en 2021. Il associe des images radiologiques à des questions ouvertes et à des réponses courtes en anglais et en chinois, avec des annotations réalisées par des médecins expérimentés.

MMT-Bench est un benchmark multimodal créé en 2024 par OpenGVLab, au sein du Shanghai AI Laboratory, avec d’autres contributeurs. Il évalue des modèles vision-langage au moyen de questions visuelles à choix unique couvrant de nombreux contextes multimodaux.

MMMUval est le jeu de validation du benchmark MMMU, créé par Xiang Yue et ses coauteurs en 2023. Il évalue la compréhension multimodale et le raisonnement délibéré à partir de problèmes de niveau universitaire, combinant questions à choix multiple, réponses courtes et entrées multimodales.

Créé par Wayve en 2024, LingoQA est un benchmark consacré à la compréhension visuelle et linguistique appliquée à la conduite autonome. Il repose sur des questions à réponse libre portant sur des séquences vidéo de conduite.

Hypersim est un benchmark de vision créé par Apple en 2021 pour évaluer la compréhension holistique de scènes intérieures synthétiques photoréalistes. Il soumet les modèles à des tâches portant sur la profondeur, la géométrie 3D, la segmentation d’instances et le grounding spatial.