VideoMME w sub est un benchmark public conçu par Chaoyou Fu et al. pour évaluer la compréhension vidéo multimodale des modèles d’IA. Il s’appuie sur des questions à choix multiples en anglais et mobilise plusieurs sources d’information, dont les images vidéo, les sous-titres et l’audio.

V* est un benchmark de raisonnement visuel conçu par Penghao Wu et Saining Xie, associés à UC San Diego et New York University. Il évalue la capacité de modèles multimodaux à interpréter des images haute résolution, riches en détails et parfois visuellement denses.

TextVQA est un benchmark de vision-language question answering consacré aux situations où la réponse dépend de texte visible dans une image. Créé par Amanpreet Singh et al. chez Facebook AI Research et Georgia Tech, il cible un angle longtemps peu couvert par les jeux VQA généralistes :…

SlakeVQA est un benchmark de visual question answering médical publié par Bo Liu et al. en 2021. Il évalue la capacité d’un modèle à relier une image radiologique à une question en langage naturel, dans un contexte bilingue anglais-chinois, avec des réponses courtes.

SUNRGBD est un benchmark de compréhension de scènes intérieures fondé sur des images RGB-D, combinant information visuelle et profondeur. Créé par Shuran Song, Samuel P. Lichtenberg et Jianxiong Xiao à Princeton University, il sert à évaluer la capacité des systèmes à relier objets,…

SimpleVQA est un benchmark de visual question answering consacré à des requêtes simples, formulées comme de courtes questions visuelles appelant une réponse factuelle brève. Créé par Xianfu Cheng et al., il vise à tester la capacité des modèles multimodaux à relier une image à des…

ScreenSpot Pro est un benchmark d’ancrage visuel pour interfaces graphiques, créé par les auteurs de ScreenSpot-Pro, dont Kaixin Li et al. Il évalue la capacité de modèles multimodaux à localiser un élément d’interface à partir d’une instruction, sur des captures haute résolution issues…