WMT24++

WMT24++ est un benchmark de traduction automatique multilingue créé par Google et Unbabel en 2025. Extension de WMT24, il évalue la capacité des systèmes de traduction et des grands modèles de langage à produire des traductions dans des contextes linguistiques variés.

Son protocole s’appuie sur des références rédigées par des humains et sur des post-éditions, couvrant des contenus littéraires, journalistiques, sociaux et issus de la parole. Des métriques automatiques comme MetricX, COMET et chrF servent à comparer la qualité des productions aux traductions de référence.

Carte d'identité

Classement des modèles (23)

Classement établi sur 23 modèles évalués, dont 11 de grands éditeurs. Score médian de l'ensemble : 72,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur WMT24++ indique une forte concordance avec les références humaines et les post-éditions selon les métriques automatiques retenues. La diversité des langues, dialectes et domaines renforce la portée comparative du benchmark, mais le résultat reste circonscrit à la traduction source vers cible et aux quatre types de contenus couverts. Il ne résume donc pas l’ensemble des capacités d’un modèle.

La présence de références humaines apporte un ancrage qualitatif, tandis que MetricX, COMET et chrF permettent une évaluation reproductible à grande échelle. La fiabilité doit néanmoins être nuancée, car les scores de la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un cadre indépendant unique. Le caractère public du jeu appelle aussi à interpréter prudemment la généralisation, une familiarité avec le benchmark pouvant influencer les résultats. Parmi les 23 modèles évalués, la médiane de 73 % et le meilleur score de 87 %, obtenu par Nemotron 3 Super (120B A12B), montrent une hiérarchie encore différenciée plutôt qu’une saturation complète.

Sources des scores : llm-stats.