Chinese

MTEB: Chinese est un benchmark communautaire de MTEB / embeddings-benchmark, constitué à partir du sous-ensemble chinois C-MTEB de BAAI/FlagEmbedding. Il évalue la qualité des embeddings de textes en chinois dans plusieurs familles de tâches.

Son périmètre couvre notamment la recherche, le reranking, la classification, le clustering et la similarité sémantique. Cette diversité permet de comparer la capacité des modèles à produire des représentations textuelles utiles dans différents contextes, plutôt que sur un usage unique.

Carte d'identité

Classement des modèles (58)

Classement établi sur 58 modèles évalués, dont 1 de grands éditeurs. Score médian de l'ensemble : 67,2 %.

Notre analyse

Un score élevé indique qu’un modèle obtient de bonnes performances moyennes sur les métriques principales propres aux différentes tâches, comme nDCG@10, l’accuracy ou la corrélation de Spearman. Il traduit donc une qualité d’embedding relativement polyvalente au sein du périmètre chinois de C-MTEB, sans garantir le même niveau sur d’autres langues ou sur des usages absents de la suite.

La lecture du classement exige toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs. Cette méthode facilite la couverture de nombreux modèles, mais offre une rigueur moins homogène qu’une évaluation entièrement reproduite et contrôlée par une même entité. Elle ne suffit pas non plus, à elle seule, à écarter un éventuel effet de contamination. Avec une médiane de 67 % parmi 58 modèles et un meilleur résultat de 79 % pour Kingsoft-LLM/QZhou-Embedding-Zh, le classement montre une différenciation encore visible plutôt qu’une saturation complète. Il met surtout en évidence les modèles les plus performants sur cet ensemble précis de tâches chinoises.

Sources des scores : mteb.