Korean

MTEB: Korean est un benchmark communautaire créé par MTEB / MMTEB pour évaluer la qualité des plongements de texte en coréen. Il couvre plusieurs usages complémentaires : classification, reranking, recherche d’information et similarité sémantique.

Son rôle est de comparer la capacité des modèles d’embedding à produire des représentations utiles selon différents types de tâches. Les métriques étant adaptées à chaque tâche, leur agrégation dans un score moyen MTEB fournit une vue synthétique des performances, tout en conservant une évaluation fondée sur plusieurs dimensions.

Carte d'identité

Classement des modèles (102)

Classement établi sur 102 modèles évalués. Score médian de l'ensemble : 20,6 %.

Notre analyse

Un score élevé indique qu’un modèle produit des plongements efficaces sur l’ensemble des tâches coréennes couvertes, selon des mesures comme nDCG@10, l’accuracy ou la corrélation de Spearman. Le classement fait apparaître une forte dispersion : avec une médiane de 21 % parmi 101 modèles et un meilleur résultat de 77 % pour SamilPwC-AXNode-GenAI/PwC-Embedding_expr, il ne semble pas globalement saturé. Il révèle aussi qu’une minorité de modèles se détache nettement du niveau central observé dans la base.

La lecture doit toutefois rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière indépendante. Cette modalité réduit l’homogénéité de la vérification et un score agrégé ne permet pas, à lui seul, de distinguer une capacité générale d’un éventuel effet de contamination. La portée demeure par ailleurs ciblée : MTEB: Korean mesure des embeddings en coréen sur quatre familles de tâches. Il ne constitue donc pas une évaluation générale de toutes les capacités d’un modèle.

Sources des scores : mteb.