ScreenSpot est un benchmark d’évaluation du grounding visuel dans les interfaces graphiques, publié en 2024 par Kanzhi Cheng et al. Il teste la capacité d’un modèle multimodal ou d’un agent visuel à interpréter une capture d’écran et à localiser précisément l’élément désigné par une…

RealWorldQA est un benchmark d’évaluation visuelle créé par xAI pour mesurer la compréhension de scènes réelles par des modèles multimodaux. Il se concentre sur des situations du quotidien, notamment des images issues de véhicules et d’autres contextes réels, associées à des questions…

RefSpatialBench est un benchmark public conçu par BAAI (Beijing Academy of Artificial Intelligence) pour évaluer la compréhension des références spatiales et leur ancrage dans des scènes réelles. Il se concentre sur des tâches où un modèle doit interpréter une instruction spatiale et…

RefCOCO-avg est un benchmark d’ancrage visuel qui évalue la capacité d’un modèle à relier une expression en anglais à l’objet correspondant dans une image, via une boîte englobante. Il agrège les résultats des suites RefCOCO, RefCOCO+ et RefCOCOg, issues d’images MS-COCO.

OmniDocBench 1.5 est un benchmark public d’OpenDataLab consacré à la compréhension et au parsing de documents par les grands modèles multimodaux. Il évalue la capacité à transformer des pages PDF complexes en sorties structurées, en couvrant l’OCR, l’extraction d’information, la mise en…

OCRBench-V2 (zh) est le sous-ensemble chinois d’un benchmark public consacré à l’évaluation des grands modèles multimodaux sur du texte présent dans l’image. Créé par Huazhong University of Science and Technology, South China University of Technology, University of Adelaide et ByteDance,…

ODinW, pour Object Detection in the Wild, est un benchmark de détection d’objets conçu par Microsoft au sein de l’équipe GLIP, associée notamment à Liunian Harold Li et Pengchuan Zhang. Il sert à évaluer la capacité de modèles de détection à se transférer vers des jeux de données réels…