MT-Bench

MT-Bench est un benchmark publié en 2023 par LMSYS Org (Zheng et al.) pour évaluer les capacités conversationnelles des grands modèles de langage. Il repose sur des échanges ouverts en plusieurs tours, examinés par un autre LLM agissant comme juge.

MT-Bench est un benchmark publié en 2023 par LMSYS Org (Zheng et al.) pour évaluer les capacités conversationnelles des grands modèles de langage. Il repose sur des échanges ouverts en plusieurs tours, examinés par un autre LLM agissant comme juge.

Les conversations couvrent notamment le raisonnement, l’écriture, le jeu de rôle, les mathématiques, le code et les connaissances générales. MT-Bench mesure ainsi la faculté à suivre des instructions tout en produisant des réponses cohérentes, utiles et nuancées dans la durée. Il facilite une comparaison standardisée et explicable des modèles conversationnels.

Carte d'identité

CaractéristiqueValeur
Éditeur du benchmarkLMSYS Org (Zheng et al.)
Capacités mesuréescommunication, créativité, généraliste, raisonnement, jeu de rôle
ModalitéTexte
Type de questionsquestions ouvertes multi-tours évaluées par un juge LLM
Métrique d'évaluationscore moyen attribué par un juge LLM, généralement sur une échelle de 1 à 10 puis parfois remis à l’échelle
AccèsPublic
LicenceApache-2.0
Languesanglais
Taille du jeu80 questions multi-tours, soit environ 160 tours
Année de publication2023
RessourcesSite / dépôt officiel · Article scientifique

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (12)

#ModèleÉditeurLicenceScoreSortieFiabilité
1Qwen2.5 72B InstructAlibaba Cloud / Qwen Team🟢 Ouvert93,5 %19 septembre 2024Auto-déclaré
2Llama-3.3 Nemotron Super 49B v1NVIDIA🟢 Ouvert91,7 %18 mars 2025Auto-déclaré
3DeepSeek-V2.5DeepSeek🟢 Ouvert90,2 %8 mai 2024Auto-déclaré
4Hermes 3 70BNous Research🟢 Ouvert89,9 %15 août 2024Auto-déclaré
5Qwen2.5 7B InstructAlibaba Cloud / Qwen Team🟢 Ouvert87,5 %19 septembre 2024Auto-déclaré
6Mistral Large 2Mistral AI🟢 Ouvert86,3 %24 juillet 2024Auto-déclaré
7Qwen2 7B InstructAlibaba Cloud / Qwen Team🟢 Ouvert84,1 %23 juillet 2024Auto-déclaré
8Mistral Small 3 24B InstructMistral AI🟢 Ouvert83,5 %30 janvier 2025Auto-déclaré
9Ministral 8B InstructMistral AI🟢 Ouvert83,0 %16 octobre 2024Auto-déclaré
10Llama 3.1 Nemotron Nano 8B V1NVIDIA🟢 Ouvert81,0 %18 mars 2025Auto-déclaré
11Pixtral-12BMistral AI🟢 Ouvert76,8 %17 septembre 2024Auto-déclaré
12Llama 3.1 Nemotron 70B InstructNVIDIA🟢 Ouvert9,0 %1 octobre 2024Auto-déclaré

Classement établi sur 12 modèles évalués, dont 8 de grands éditeurs. Score médian de l'ensemble : 85,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MT-Bench indique qu’un modèle répond efficacement à des consignes variées et conserve la cohérence, la pertinence et la nuance au fil de plusieurs tours. L’évaluation par un LLM juge permet de traiter à grande échelle des réponses ouvertes, mais elle reste dépendante des appréciations de ce juge. Dans cette base, les résultats étant majoritairement auto-déclarés par les éditeurs, leur rigueur et leur comparabilité doivent être considérées avec prudence.

Le score médian de 85 % et le meilleur résultat de 94 %, obtenu par Qwen2.5 72B Instruct, montrent un classement concentré dans le haut de l’échelle. Cette proximité peut signaler un début de saturation et réduire le pouvoir discriminant du benchmark entre modèles performants. Son accès public crée aussi un risque de contamination si les questions entrent dans les données d’entraînement. Enfin, sa portée reste centrée sur des conversations en anglais et sur les domaines couverts par ses questions. Parmi les douze modèles recensés, le classement met surtout en évidence l’avantage de Qwen2.5 72B Instruct sur cet ensemble précis de tâches conversationnelles.

Sources des scores : llm-stats.

À lire ensuite