Indic

MTEB: Indic est un benchmark public consacré à la qualité des embeddings de texte dans les langues indiennes. Publié en 2025 par MTEB / MMTEB, dans le cadre d’embeddings-benchmark et des travaux de Kenneth Enevoldsen et al., il couvre plusieurs formes d’évaluation multilingue.

Il mesure la capacité des modèles à représenter et rapprocher des textes pour le bitext mining, la classification, le clustering, la pair classification, le retrieval, le reranking et la similarité sémantique. Il sert ainsi à comparer les performances des modèles sur un ensemble diversifié de tâches liées aux embeddings.

Carte d'identité

Classement des modèles (118)

Classement établi sur 118 modèles évalués, dont 2 de grands éditeurs. Score médian de l'ensemble : 36,3 %.

Notre analyse

Un score élevé sur MTEB: Indic traduit une bonne qualité globale des embeddings dans les langues indiennes et sur plusieurs usages, de la recherche d’information à la similarité sémantique. Son interprétation doit toutefois tenir compte de l’agrégation de métriques dépendant des tâches, notamment nDCG@10, accuracy, V-measure et Spearman. Une même valeur synthétise donc des aptitudes différentes et ne décrit pas à elle seule chaque composante du benchmark.

Dans la base, 118 modèles sont évalués. Le score médian de 36 %, comparé aux 79 % de codefuse-ai/F2LLM-v2-14B, fait apparaître un écart important entre le milieu du classement et son meilleur résultat. Cette dispersion ne suggère pas une saturation générale du benchmark et met en évidence une forte différenciation entre modèles. La portée demeure centrée sur les embeddings de texte, les langues indiennes et les sept familles de tâches couvertes.

La lecture du classement appelle enfin une prudence méthodologique, car les scores sont majoritairement auto-déclarés par les éditeurs. Ils ne relèvent donc pas tous d’une mesure indépendante et homogène. Le classement fournit une comparaison utile, mais sa rigueur dépend aussi de la cohérence des évaluations rapportées.

Sources des scores : mteb.