Farsi

MTEB: Farsi est un benchmark public consacré à la qualité des embeddings de textes en persan. Créé par FaMTEB, notamment Erfan Zinvandi, Morteza Alikhani et Mehran Sarmadi, il couvre plusieurs usages, de la classification à la recherche d’information, en passant par le clustering et la similarité sémantique.

Publié en 2025, il sert à comparer la capacité des modèles à produire des représentations pertinentes selon différents contextes. Sa deuxième version privilégie l’accessibilité des grands jeux de données, retire des jeux de faible qualité et ajoute des données jugées meilleures.

Carte d'identité

Classement des modèles (30)

Classement établi sur 30 modèles évalués, dont 2 de grands éditeurs. Score médian de l'ensemble : 62,9 %.

Notre analyse

Un score élevé indique qu’un modèle obtient de bons résultats agrégés sur les différentes tâches d’embeddings en persan. L’interprétation dépend toutefois des métriques propres à chaque tâche, notamment nDCG@10, l’accuracy, la V-measure et la corrélation de Spearman. Le classement couvre 30 modèles, avec une médiane de 63 %. codefuse-ai/F2LLM-v2-14B arrive en tête à 74 %, soit un avantage de 11 points sur cette médiane. Cet écart met en évidence une performance globale supérieure au centre du classement, sans signifier une domination identique sur chaque catégorie.

La rigueur de comparaison doit être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que tous mesurés dans un protocole indépendant unique. Les risques méthodologiques de contamination ou de saturation appellent donc une lecture prudente du classement. La portée reste circonscrite aux embeddings de textes en persan et aux sept familles de tâches incluses. Le benchmark renseigne ainsi la polyvalence dans ce périmètre, mais le score agrégé peut atténuer les écarts entre compétences spécifiques.

Sources des scores : mteb.