Scandinavian

MTEB: Scandinavian est un benchmark public consacré à la qualité des embeddings de texte dans les principales langues scandinaves continentales. Publié en 2024, il a été créé par le Scandinavian Embedding Benchmark, sous la direction de Kenneth Enevoldsen et al., puis intégré à MTEB.

Son évaluation couvre la classification, le clustering, la recherche d’information et le bitext mining entre dialectes ou formes écrites. Cette diversité permet de comparer la capacité des modèles à produire des représentations utiles dans plusieurs contextes linguistiques, notamment en danois, suédois et norvégien.

Carte d'identité

Classement des modèles (47)

Classement établi sur 47 modèles évalués, dont 2 de grands éditeurs. Score médian de l'ensemble : 57,9 %.

Notre analyse

Un score agrégé élevé indique qu’un modèle produit des embeddings performants sur plusieurs familles de tâches, selon des métriques adaptées comme nDCG@10, l’accuracy ou la V-measure. Il ne correspond donc pas à une mesure unique et doit être interprété comme une synthèse de performances hétérogènes. Dans la base, codefuse-ai/F2LLM-v2-14B arrive en tête à 71 %, contre une médiane de 58 % pour les 47 modèles évalués. Cet écart révèle une différenciation réelle entre le meilleur résultat et le niveau central du classement, sans indiquer une saturation complète du benchmark.

La fiabilité appelle toutefois à la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de façon indépendante dans un protocole unique. Une contamination éventuelle des données d’évaluation pourrait également favoriser certains résultats. Enfin, la portée reste spécialisée : MTEB: Scandinavian mesure les embeddings pour le danois, le suédois, le norvégien Bokmål et Nynorsk, ainsi que le bornholmsk, sur la classification, le clustering, le retrieval et le bitext mining. Le classement renseigne donc sur ce périmètre précis, pas sur les capacités générales des modèles.

Sources des scores : mteb.