Korean

MTEB: Korean est une déclinaison du Massive Text Embedding Benchmark consacrée aux représentations vectorielles de textes coréens. Créée par les contributeurs de MTEB, cette suite étendue succède à MTEB(kor, v1) et couvre un éventail élargi de tâches fondées sur des textes, des paires de phrases, des corpus et des ensembles à regrouper.

Elle mesure la qualité générale des embeddings pour plusieurs usages, de l’analyse sémantique à la recherche d’information. Son agrégation de métriques adaptées à chaque tâche fournit un repère synthétique pour comparer la polyvalence des modèles sur le coréen.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (23)

Classement établi sur 23 modèles évalués, dont 2 de grands éditeurs. Score médian de l'ensemble : 70,4 %.

Notre analyse

Un score élevé indique qu’un modèle produit des embeddings efficaces sur l’ensemble des tâches, malgré des protocoles et des métriques variés. Il reflète donc une performance transversale, et non une aptitude isolée à un seul usage. L’agrégation facilite la comparaison, mais peut masquer des écarts entre catégories de tâches. Parmi les 23 modèles évalués dans la base, Qwen: Qwen3 Embedding 8B domine avec 78 %, contre une médiane de 70 %. Cet écart de huit points montre une différenciation nette entre la tête du classement et le niveau central. Il ne suffit toutefois pas à exclure une saturation sur certaines tâches prises séparément. La portée du résultat reste limitée aux embeddings de textes coréens et aux familles d’épreuves couvertes. La fiabilité appelle également de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt qu’issus d’une évaluation indépendante. Enfin, l’accès public au benchmark fait de la contamination un risque méthodologique à considérer, sans établir qu’elle s’est produite.

Sources des scores : mteb.