Japanese

MTEB: Japanese est un benchmark créé par SB Intuitions pour évaluer la qualité des plongements de texte en japonais. Il couvre plusieurs usages complémentaires, notamment le clustering, la classification, la similarité sémantique, la recherche d’information et le reranking.

Publié en 2025, il sert à comparer les capacités de représentation textuelle des modèles sur un ensemble diversifié de tâches. Sa version v2 étend l’évaluation à 28 jeux de données, afin de proposer une mesure plus complète que MTEB(jpn, v1).

Carte d'identité

Classement des modèles (20)

Classement établi sur 20 modèles évalués, dont 2 de grands éditeurs. Score médian de l'ensemble : 70,7 %.

Notre analyse

Un score moyen JMTEB élevé indique qu’un modèle produit des plongements efficaces sur plusieurs familles de tâches en japonais. Cette synthèse agrège toutefois des métriques variables selon les épreuves, comme nDCG@10, l’accuracy ou la corrélation de Spearman. Le score global doit donc être interprété comme une performance transversale, et non comme une garantie uniforme sur chaque usage.

Dans la base, 21 modèles atteignent un score médian de 71 %. codefuse-ai/F2LLM-v2-14B arrive en tête à 79 %, soit huit points au-dessus de cette médiane. Cet écart montre une différenciation encore visible entre le meilleur résultat et le centre du classement, sans signaler une saturation complète. La portée reste circonscrite aux plongements de texte en japonais et aux cinq catégories évaluées par les 28 jeux de données de la version v2.

La fiabilité appelle néanmoins de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs. Le classement constitue donc un indicateur comparatif utile, mais sa lecture dépend de la rigueur et de l’homogénéité des évaluations rapportées.

Sources des scores : mteb.