MM-MT-Bench

MM-MT-Bench est un benchmark créé par Mistral AI en 2024 pour évaluer des modèles multimodaux ajustés au suivi d’instructions. Il repose sur des dialogues en anglais combinant texte et images, organisés sur plusieurs tours.

Son objectif est de mesurer la capacité des modèles à suivre les demandes successives, à communiquer de façon cohérente et à répondre en zero-shot à des questions ouvertes. Les réponses sont appréciées par un LLM juge, ce qui permet de comparer les performances en vision-langage dans un cadre conversationnel.

Carte d'identité

Classement des modèles (17)

Classement établi sur 17 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 8,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle suit efficacement les instructions au fil d’un dialogue multimodal et produit des réponses ouvertes jugées satisfaisantes. L’évaluation repose toutefois sur un LLM-as-a-judge, avec une note sur une échelle de 1 à 10. Elle reflète donc le jugement du modèle évaluateur plutôt qu’une mesure entièrement objective. La fiabilité du classement doit aussi être nuancée, car les scores recensés sont majoritairement auto-déclarés par les éditeurs.

Parmi les 17 modèles de la base, Mistral Large 3 arrive en tête avec 85 %, tandis que la médiane atteint 8 %. Cet écart révèle une forte concentration des performances au sommet et ne suggère pas une saturation générale du benchmark. Sa portée reste ciblée sur les dialogues multimodaux en anglais, le suivi d’instructions multi-tours et les réponses ouvertes en zero-shot. Son accès public crée par ailleurs un risque potentiel d’exposition des modèles au contenu d’évaluation, ce qui invite à considérer la contamination lors de l’interprétation des résultats.

Sources des scores : llm-stats.