MMBench-V1.1

MMBench-V1.1 est un benchmark bilingue créé par Shanghai AI Laboratory et plusieurs collaborateurs pour évaluer les modèles vision-langage. Cette version améliorée s’appuie sur des questions à choix multiple en anglais et en chinois afin de comparer leurs capacités multimodales.

Les épreuves couvrent notamment la perception visuelle, le raisonnement à partir d’images et la compréhension de scènes. MMBench-V1.1 fournit ainsi un cadre d’évaluation systématique pour situer les modèles sur diverses tâches associant informations visuelles et langage.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (18)

Classement établi sur 18 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 88,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle sélectionne fréquemment la bonne réponse parmi les choix proposés, sur des tâches de perception, de raisonnement visuel et de compréhension de scènes. La médiane de 88 % parmi les 18 modèles recensés, face à un meilleur score de 93 % pour Qwen3.5-122B-A10B, montre un classement concentré dans une zone de performance élevée. Cet écart limité suggère une capacité de discrimination réduite entre les meilleurs systèmes et un possible effet de saturation. La portée reste circonscrite aux QCM bilingues et aux capacités vision-langage couvertes par environ 3 000 questions, sans représenter toutes les formes d’usage multimodal. Le jeu de test privé, dont les réponses ne sont pas divulguées, encadre l’exposition directe des solutions et limite le risque de contamination par celles-ci. La lecture du classement demande néanmoins de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans un dispositif de mesure uniforme et indépendant.

Sources des scores : llm-stats.