OCRBench_V2 est un benchmark d’OCR multimodal bilingue conçu par les auteurs d’OCRBench v2, dont Ling Fu, Zhebin Kuang et Yuliang Liu. Il évalue la capacité des grands modèles multimodaux à lire, localiser et exploiter du texte présent dans des images, en anglais et en chinois.

OCRBench est un benchmark public proposé par Yuliang Liu et al. en 2023 pour évaluer les capacités d’OCR des grands modèles multimodaux. Il se concentre sur la lecture et l’exploitation de texte visible dans des images, des scènes naturelles et des documents.

OCRBench-V2 (en) est un benchmark d'évaluation des modèles d'IA, créé par Groupe de recherche de Yuliang Liu (Ling Fu, Zhebin Kuang et al., milieu académique). Il mesure : OCR avancé pour LMM : localisation de texte, perception fine, perception de mise en page, parsing d'éléments…

MVBench est un benchmark public de compréhension vidéo multimodale publié en 2023 par OpenGVLab, Shanghai AI Laboratory et d’autres contributeurs. Il évalue la capacité des modèles à analyser des vidéos au-delà d’une lecture image par image, à travers des QCM centrés sur des tâches…

MuirBench est un benchmark public consacré à la compréhension robuste de plusieurs images par les modèles multimodaux. Publié en 2024 par un consortium académique associé aux auteurs de MuirBench, dont Pan Lu, il cible des situations où l’information utile dépend de relations entre…

MMT-Bench est un benchmark multimodal conçu par OpenGVLab (Shanghai AI Laboratory) et al. pour évaluer des modèles vision-langage dans une perspective multitâche. Il s’appuie sur des QCM visuels à choix unique en anglais, couvrant des scénarios variés de compréhension multimodale.

MMStar est un benchmark multimodal public conçu par Lin Chen et al. pour évaluer des modèles capables de traiter conjointement une image et une question. Il se concentre sur des tâches où l’information visuelle est indispensable, afin de limiter les réponses obtenues par simple…