Vietnamese

MTEB: Vietnamese est un benchmark consacré à la qualité des plongements de texte en vietnamien. Créé en 2025 par les auteurs de VN-MTEB, notamment Pham, Luu et leurs coauteurs, il s’appuie sur des données de MTEB traduites automatiquement, puis filtrées afin de préserver les entités nommées et les extraits de code.

Il évalue les modèles sur six familles de tâches, couvrant notamment la recherche, la classification et la similarité sémantique. Son rôle est de fournir une mesure synthétique et diversifiée des capacités de représentation du vietnamien.

Carte d'identité

Classement des modèles (27)

Classement établi sur 27 modèles évalués. Score médian de l'ensemble : 50,5 %.

Notre analyse

Un score élevé traduit des plongements efficaces sur plusieurs usages, avec des métriques adaptées à chaque tâche, notamment nDCG@10, accuracy, AP et corrélation de Spearman. Le score moyen MTEB agrège toutefois des évaluations de nature différente et doit donc être lu comme un indicateur global, plutôt que comme une performance uniforme sur chaque tâche.

La rigueur repose sur 41 jeux de données, six types de tâches et un filtrage qualitatif des traductions automatiques. La fiabilité pratique du classement est néanmoins limitée par des scores majoritairement auto-déclarés par les éditeurs, ce qui réduit le degré de vérification indépendante. Sa portée reste centrée sur les plongements de texte en vietnamien et sur des données dérivées de MTEB. Dans la base, codefuse-ai/F2LLM-v2-14B atteint 64 %, contre une médiane de 51 % parmi 27 modèles. Cet écart montre une avance nette du premier modèle, tout en suggérant que le classement n’est pas saturé au niveau observé. Il ne constitue toutefois pas, à lui seul, un contrôle de contamination des données d’évaluation.

Sources des scores : mteb.