MVBench est un benchmark public de compréhension vidéo multimodale créé en 2023 par OpenGVLab, le Shanghai AI Laboratory et d’autres contributeurs. Il réunit des tâches vidéo conçues à partir d’annotations existantes selon une méthode de génération allant du statique au dynamique.

MMBench-V1.1 est un benchmark bilingue créé par Shanghai AI Laboratory et plusieurs collaborateurs pour évaluer les modèles vision-langage. Cette version améliorée s’appuie sur des questions à choix multiple en anglais et en chinois afin de comparer leurs capacités multimodales.

MMBench est un benchmark bilingue créé en 2023 par Shanghai AI Laboratory et OpenCompass, dans le cadre des travaux de Y. Liu et al. Il évalue les capacités multimodales des modèles de vision et de langage au moyen de questions à choix multiples en anglais et en chinois.

VBench: Total est une suite publique d’évaluation conçue en 2023 par Vchitect, Shanghai AI Laboratory et d’autres contributeurs. Elle cible les modèles génératifs vidéo, en particulier les systèmes de texte vers vidéo, à partir de prompts en anglais.

VBench: Respect du prompt est un benchmark public conçu par OpenGVLab, Shanghai AI Laboratory et d’autres contributeurs pour évaluer les modèles de génération vidéo. Il appartient à VBench, une suite organisée autour de plusieurs dimensions de qualité visuelle et de fidélité aux…

MMT-Bench est un benchmark multimodal créé en 2024 par OpenGVLab, au sein du Shanghai AI Laboratory, avec d’autres contributeurs. Il évalue des modèles vision-langage au moyen de questions visuelles à choix unique couvrant de nombreux contextes multimodaux.