MMBench est un benchmark public conçu par Shanghai AI Laboratory et OpenCompass, associé aux travaux de Y. Liu et al. Il sert à évaluer les capacités multimodales des modèles vision-langage à travers des questions visuelles à choix multiples, en anglais et en chinois.

MM-MT-Bench est un benchmark d’évaluation multimodale publié par Mistral AI en 2024. Il sert à tester des modèles vision-langage alignés par instructions dans des dialogues multi-tours combinant texte et images, avec des questions ouvertes traitées en zero-shot.

MLVU est un benchmark public consacré à la compréhension de longues vidéos par les modèles multimodaux. Créé par les auteurs MLVU, associés au dépôt JUNJIE99 de Junjie Zhou, il évalue la capacité à traiter des contenus vidéo étendus, de quelques minutes à deux heures, dans des contextes…

MedXpertQA est un benchmark médical conçu par le laboratoire C3I de l’Université Tsinghua pour évaluer des modèles d’IA sur des tâches de connaissances médicales et de raisonnement clinique de niveau expert.

LVBench est un benchmark de compréhension de vidéos longues conçu par Zhipu AI (Z.ai) et Tsinghua University. Il vise à évaluer des modèles multimodaux confrontés à des séquences pouvant atteindre environ deux heures, un cadre plus exigeant que les tests vidéo centrés sur des extraits…

LingoQA est un benchmark public conçu par Wayve pour évaluer la compréhension visuelle-linguistique appliquée à la conduite autonome. Il porte sur des séquences vidéo de conduite et demande aux modèles de répondre librement à des questions de type VQA, en mobilisant perception,…

InfoVQAtest est un benchmark de question-réponse visuelle consacré aux infographies. Créé par Minesh Mathew et al. au sein du CVIT, IIIT Hyderabad et du CVC-UAB, il évalue la capacité des modèles à comprendre des documents où texte, mise en page, graphiques et visualisations de données…