Spanish

MTEB: Spanish est un benchmark communautaire créé par MTEB / embeddings-benchmark, avec des jeux de données espagnols notamment issus de jina-ai/mteb-es. Il évalue la qualité des embeddings de texte en espagnol dans plusieurs familles de tâches.

Son périmètre couvre la classification, le clustering, la comparaison de paires, le reranking, la recherche d’information et la similarité sémantique. Il sert ainsi à comparer la capacité des modèles à produire des représentations textuelles utiles dans des contextes variés, au moyen de scores adaptés à chaque tâche puis agrégés.

Carte d'identité

Classement des modèles (27)

Classement établi sur 27 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 65,8 %.

Notre analyse

Un score élevé sur MTEB: Spanish indique qu’un modèle produit des embeddings performants sur plusieurs usages en espagnol, plutôt que sur une seule capacité. L’agrégation combine des métriques dépendant des tâches, notamment nDCG@10, accuracy, V-measure et Spearman. Elle fournit une vue synthétique, mais peut masquer des écarts entre classification, retrieval, clustering ou similarité sémantique.

La fiabilité doit être interprétée avec prudence, car les résultats sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un cadre entièrement indépendant. Le caractère public du benchmark implique aussi de considérer un risque de contamination lors de l’interprétation, sans établir qu’elle a effectivement eu lieu. La portée reste centrée sur les embeddings de texte en espagnol et sur les catégories de tâches incluses.

Parmi les 27 modèles recensés, codefuse-ai/F2LLM-v2-14B occupe la première place à 73 %, contre une médiane de 66 %. Cet écart montre un avantage mesurable en tête du classement, tandis que le meilleur score, encore éloigné du plafond théorique, ne traduit pas une saturation complète du benchmark.

Sources des scores : mteb.