MMMU (val) est le jeu de validation du benchmark Massive Multi-discipline Multimodal Understanding and Reasoning, publié en 2023 par Xiang Yue et al. Il évalue des modèles capables de traiter conjointement du texte et des supports visuels variés, comme des images, diagrammes, tableaux,…

MMMUval est le jeu de validation du benchmark MMMU, conçu par Xiang Yue et al. pour évaluer des modèles multimodaux sur des tâches universitaires exigeant à la fois compréhension visuelle, connaissances disciplinaires et raisonnement délibéré.

MMMU-Pro est un benchmark public conçu par l’équipe MMMU, avec Xiang Yue, Tianyu Zheng et leurs co-auteurs, pour évaluer la compréhension et le raisonnement multimodaux multidisciplinaires. Il prolonge MMMU en rendant les questions moins accessibles par le seul texte et plus dépendantes…

MMMU (validation) est le split de validation du benchmark Massive Multi-discipline Multimodal Understanding and Reasoning, publié en 2023 par Xiang Yue et al. Il vise à tester des capacités de compréhension et de raisonnement multimodaux de niveau universitaire, dans des tâches associant…

MMMU, pour Massive Multi-discipline Multimodal Understanding, est un benchmark publié en 2023 par Xiang Yue et al. Il évalue des modèles multimodaux sur des questions de niveau universitaire combinant texte et images, issues d’examens, de quiz et de manuels.

MMLongBench-Doc est un benchmark consacré à la compréhension de documents longs multimodaux par des modèles vision-langage. Créé par THU-KEG et al., il évalue la capacité à traiter des PDF étendus combinant texte, mise en page, tableaux, figures et informations dispersées sur de…

MMBench-V1.1 est un benchmark bilingue conçu pour évaluer les capacités multimodales des modèles vision-langage à partir de questions à choix multiple. Créé par Shanghai AI Laboratory et al., il s’inscrit dans la famille des évaluations centrées sur l’interprétation d’images et la mise…