French

MTEB: French est un benchmark consacré à la qualité des plongements de texte en français. Publié en 2024 par Lyon-NLP, avec Ciancone, Kerboua, Schaeffer et Sequeira, ainsi que par la communauté MTEB, il repose sur des jeux de données natifs français de haute qualité.

Il évalue les modèles sur plusieurs familles de tâches, notamment la classification, le clustering, le réordonnancement, la recherche et la similarité sémantique. Son rôle est de fournir une mesure synthétique et comparable de la capacité des modèles à produire des représentations textuelles utiles.

Carte d'identité

Classement des modèles (117)

Classement établi sur 117 modèles évalués. Score médian de l'ensemble : 49,6 %.

Notre analyse

Un score élevé sur MTEB: French traduit une bonne qualité globale des plongements sur les différentes catégories couvertes. L’interprétation doit toutefois tenir compte de l’hétérogénéité des métriques, parmi lesquelles nDCG@10, accuracy, AP et corrélation de Spearman. Le score moyen MTEB agrège donc des performances issues de tâches distinctes, plutôt qu’une aptitude unique.

La base réunit 117 modèles, avec un score médian de 50 %. codefuse-ai/F2LLM-v2-8B occupe la première place à 73 %, ce qui met en évidence un écart notable entre le meilleur résultat et le niveau central de l’ensemble. Ce classement révèle ainsi une différenciation substantielle entre les modèles évalués, sans indiquer une saturation au sommet.

La portée reste centrée sur les embeddings de textes français et sur les catégories de tâches intégrées au cadre. La fiabilité demande également de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans le cadre d’une mesure indépendante uniforme.

Sources des scores : mteb.