European

MTEB: European est un benchmark public consacré à la qualité des embeddings de texte dans les langues européennes. Créé par MTEB / MMTEB, dans le cadre d’embeddings-benchmark et des travaux de Kenneth Enevoldsen et al., il couvre plusieurs usages, de la recherche d’information à la similarité sémantique.

Publié en 2025, il évalue la capacité des modèles à produire des représentations textuelles utiles pour le bitext mining, la classification, le clustering, la pair classification, le retrieval, le reranking et le STS. Son agrégation offre une vue synthétique des performances multilingues.

Carte d'identité

Classement des modèles (127)

Classement établi sur 127 modèles évalués, dont 2 de grands éditeurs. Score médian de l'ensemble : 48,9 %.

Notre analyse

Un score élevé indique qu’un modèle obtient globalement de bons résultats sur des tâches variées d’embeddings en langues européennes. L’évaluation combine des métriques adaptées à chaque famille de tâches, notamment nDCG@10, l’accuracy, la V-measure et la corrélation de Spearman, avant agrégation. Cette diversité élargit la portée fonctionnelle du score, mais l’agrégation peut aussi masquer des écarts entre retrieval, classification, clustering ou similarité sémantique. La portée reste centrée sur les langues européennes et sur la qualité des embeddings de texte.

La fiabilité doit être interprétée avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que tous issus d’une mesure indépendante uniforme. Le classement de 127 modèles montre un écart marqué entre le niveau médian, à 49 %, et le meilleur résultat, 70 %, obtenu par codefuse-ai/F2LLM-v2-14B. Ce maximum suggère que le benchmark n’est pas entièrement saturé. Il met surtout en évidence la capacité du modèle de tête à maintenir une performance agrégée élevée sur plusieurs types de tâches multilingues.

Sources des scores : mteb.