ChartQA est un benchmark consacré à la compréhension de graphiques, publié en 2022 par Ahmed Masry et al. Il évalue la capacité des modèles à répondre à des questions ouvertes courtes portant sur des visualisations, avec des réponses textuelles ou numériques.

CharadesSTA est un benchmark consacré à la localisation temporelle d’activités dans des vidéos à partir de requêtes en langage naturel. Créé par Jiyang Gao, Chen Sun, Zhenheng Yang et Ram Nevatia, il prolonge Charades avec des annotations temporelles associées à des phrases descriptives.

CC-OCR est un benchmark public conçu par Alibaba Group, via Alibaba Research et l’équipe Qwen, pour évaluer les grands modèles multimodaux sur des tâches d’alphabétisation visuelle. Il se concentre sur la capacité à lire, comprendre et structurer du texte présent dans des images variées.

BLINK est un benchmark publié en 2024 par Zeyi Fu et al. pour évaluer la perception visuelle fondamentale des modèles multimodaux. Il reformule des tâches classiques de vision par ordinateur sous forme de QCM associés à une ou plusieurs images, afin de tester des capacités qui dépassent…

BabyVision est un benchmark consacré au raisonnement visuel précoce, inspiré de tâches de vision de type enfant. Créé par les auteurs BabyVision, dont Liang Chen, Baobao Chang et UniPat-AI, il vise à isoler des capacités perceptives élémentaires plutôt qu’à mesurer des connaissances…

ARC-AGI v2 est un benchmark conçu pour évaluer le raisonnement abstrait des systèmes d’IA à partir de tâches visuelles de transformation de grilles. Créé par ARC Prize Foundation, avec François Chollet, Mike Knoop, Gregory Kamradt et d’autres contributeurs, il prolonge l’approche ARC…

ARC-AGI est un benchmark d’abstraction et de raisonnement créé par François Chollet. Il évalue la capacité d’un système à déduire une règle générale à partir de quelques exemples, puis à l’appliquer à de nouvelles grilles visuelles.