ZEROBench-Sub est un sous-ensemble de ZEROBench consacré au raisonnement visuel particulièrement difficile. Conçu par les auteurs de ZeroBench, dont Jonathan Roberts et Mohammad Reza Taesiri à l’University of Cambridge, il cible des sous-questions qui demandent d’enchaîner plusieurs…

ZEROBench est un benchmark de vision conçu par University of Cambridge et al. pour évaluer la compréhension visuelle en zero-shot sur des tâches particulièrement difficiles. Il cible des questions ouvertes ou numériques fondées sur des images, avec une exigence élevée en interprétation…

VLMsAreBlind est un benchmark multimodal conçu pour mettre en évidence les angles morts des vision-language models face à des tâches visuelles très simples pour l’humain. Créé par Auburn University et University of Alberta, avec Anh Totti Nguyen et al., il examine des situations…

VideoMMMU est un benchmark d’évaluation multimodale consacré à l’apprentissage à partir de vidéos professionnelles de niveau expert. Créé par EvolvingLMMs-Lab, il examine la capacité des grands modèles multimodaux à extraire et utiliser des connaissances issues de contenus vidéo…

Video-MME est un benchmark public proposé par Chaoyou Fu et al. en 2024 pour évaluer la compréhension vidéo multimodale des MLLM. Il s’intéresse à la capacité des modèles à répondre à des QCM à partir de vidéos de durées variées, en mobilisant le raisonnement visuel et temporel.

Vibe-Eval est une suite d’évaluation conçue par Reka AI pour tester la compréhension multimodale image-texte des modèles de chat. Elle repose sur des questions ouvertes de compréhension visuelle, avec des réponses de référence rédigées par des experts.

VideoMME w sub est un benchmark public conçu par Chaoyou Fu et al. pour évaluer la compréhension vidéo multimodale des modèles d’IA. Il s’appuie sur des questions à choix multiples en anglais et mobilise plusieurs sources d’information, dont les images vidéo, les sous-titres et l’audio.