Russian

MTEB: Russian est un benchmark public consacré à la qualité des embeddings textuels en russe. Créé par MTEB / MMTEB à partir de ruMTEB, il regroupe des jeux de données couvrant plusieurs usages, de la classification à la recherche d’information, en passant par le clustering et la similarité sémantique.

Son rôle est de comparer la capacité des modèles à produire des représentations pertinentes pour différentes tâches. Les résultats reposent sur des métriques adaptées à chaque cas, notamment nDCG@10, l’accuracy ou la corrélation de Spearman.

Carte d'identité

Classement des modèles (104)

Classement établi sur 104 modèles évalués, dont 1 de grands éditeurs. Score médian de l'ensemble : 42,2 %.

Notre analyse

Un score élevé sur MTEB: Russian traduit une bonne qualité globale des embeddings russes dans les différentes familles de tâches couvertes. Il ne correspond toutefois pas à une compétence unique, puisque l’agrégat combine des évaluations et des métriques distinctes. La portée du classement reste donc centrée sur le russe et sur les usages représentés par ruMTEB. La version 1.1 a remplacé MIRACLRetrieval et RiaNewsRetrieval par leurs variantes HardNegatives v2, dotées de prompts par défaut améliorés, ce qui rend la version du benchmark importante pour interpréter les comparaisons.

Parmi les 103 modèles de la base, ai-sage/Giga-Embeddings-instruct atteint 74 %, contre un score médian de 42 %. Cet écart révèle une forte différenciation entre le modèle de tête et le niveau central du classement, sans signe de saturation complète au sommet. La rigueur comparative doit néanmoins être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que tous mesurés dans un protocole indépendant et homogène. Le classement constitue ainsi un indicateur comparatif utile, mais dépend de la cohérence des déclarations et des conditions d’évaluation appliquées.

Sources des scores : mteb.