MMStar

Créé par Lin Chen et ses coauteurs en 2024, MMStar est un benchmark multimodal conçu autour de tâches pour lesquelles l’image est indispensable. Ses questions évaluent conjointement la perception visuelle, le raisonnement multimodal, la compréhension fine et la résolution de problèmes visuels variés.

La sélection humaine d’échantillons difficiles vise à mieux distinguer les modèles capables d’exploiter réellement le contenu visuel. MMStar cherche notamment à limiter deux faiblesses d’autres évaluations multimodales, la possibilité de répondre sans examiner l’image et les fuites involontaires de données.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (22)

Classement établi sur 22 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 74,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMStar indique qu’un modèle répond correctement à une forte proportion de QCM nécessitant l’analyse de l’image, sur plusieurs capacités et axes détaillés. Il traduit donc une aptitude étendue à combiner perception et raisonnement, sans constituer une mesure générale de toutes les compétences multimodales. La portée reste circonscrite à 1 500 questions en anglais, au format QCM avec image.

Le classement de 22 modèles montre un niveau médian de 74 %, tandis que Qwen3.6 Plus atteint 83 %. Cet écart suggère qu’une marge de progression subsiste, mais le niveau déjà élevé de l’ensemble peut aussi réduire progressivement le pouvoir discriminant du benchmark si les performances continuent d’augmenter. MMStar a été conçu pour combattre la non-nécessité du contenu visuel et les fuites involontaires, deux facteurs susceptibles de gonfler artificiellement les résultats, sans faire de son score une garantie absolue contre toute contamination. Enfin, les scores étant majoritairement auto-déclarés par les éditeurs, leur comparabilité dépend de l’application cohérente du protocole, ce qui appelle davantage de prudence qu’une évaluation intégralement mesurée de manière indépendante.

Sources des scores : llm-stats.