ERQA est un benchmark de Google DeepMind consacré au raisonnement incarné, c’est-à-dire à la capacité d’un modèle à interpréter des situations visuelles liées aux interactions avec le monde physique. Il repose sur des questions visuelles à choix multiples, avec images et texte…

EgoSchema est un benchmark d’évaluation de la compréhension vidéo de longue durée en contexte égocentrique. Créé par K. Mangalam, R. Akshulakov et J. Malik, il s’appuie sur des clips issus d’Ego4D et sur des questions à choix multiples conçues pour tester l’interprétation d’activités…

DocVQAtest est un benchmark de Visual Question Answering appliqué aux images de documents. Créé par Minesh Mathew, Dimosthenis Karatzas et C. V. Jawahar, il évalue des modèles capables d’extraire une réponse courte à partir d’une question en langage naturel et d’un document scanné.

DocVQA est un benchmark de Visual Question Answering appliqué aux images de documents, publié en 2020 par M. Mathew, D. Karatzas et R. Manmatha. Il vise à évaluer la capacité d’un modèle à lire un document visuel, à en comprendre la structure et à retrouver l’information pertinente pour…

CountBench est un benchmark de vision-langage consacré au comptage d’objets dans les images. Créé par Google Research et le Weizmann Institute of Science, il évalue la capacité d’un modèle à relier une scène visuelle à une réponse quantitative correcte.

CharXiv-R est le volet de raisonnement du benchmark CharXiv, créé par Princeton University avec Zirui Wang, Danqi Chen, Sanjeev Arora et leurs coauteurs. Il cible la compréhension de graphiques scientifiques issus d’articles arXiv, avec des questions ouvertes qui demandent de relier…

CharXiv-D est le sous-ensemble descriptif de CharXiv, un benchmark consacré à la compréhension de graphiques scientifiques par des modèles multimodaux. Créé par Princeton Language and Intelligence (Princeton University), UW-Madison et University of Hong Kong, il s’appuie sur des figures…