Polish

MTEB: Polish est un benchmark consacré à l’évaluation des plongements de texte en polonais. Créé par la communauté MTEB/MMTEB à partir de PL-MTEB, développé par Rafal Poswiata et ses coauteurs à l’OPI-PIB, il associe des jeux communautaires adaptés au corpus de littérature scientifique polonaise PLSC.

Il mesure la qualité des représentations textuelles dans plusieurs cadres complémentaires : classification, clustering, classification de paires, recherche et similarité sémantique. Cette diversité permet de comparer la capacité des modèles à produire des plongements utiles pour différents usages linguistiques et documentaires.

Carte d'identité

Classement des modèles (10)

Classement établi sur 10 modèles évalués. Score médian de l'ensemble : 68,1 %.

Notre analyse

Un score élevé indique qu’un modèle produit des plongements performants sur l’ensemble des tâches, selon des métriques adaptées à chacune, notamment nDCG@10, accuracy, AP et corrélation de Spearman. Le classement place codefuse-ai/F2LLM-v2-14B en tête à 75 %, contre une médiane de 68 % parmi les dix modèles évalués. Cet écart montre un avantage mesurable du premier modèle, sans suggérer une saturation complète du benchmark.

La lecture des résultats requiert toutefois de la prudence : les scores sont majoritairement auto-déclarés par les éditeurs, ce qui offre une garantie moins homogène qu’une évaluation entièrement reproduite par une instance indépendante. Le caractère public du benchmark et l’emploi de jeux communautaires adaptés créent aussi un risque d’exposition préalable des modèles aux contenus d’évaluation, donc de contamination. Enfin, sa portée reste ciblée sur le polonais et sur les tâches de plongement de texte. Le classement renseigne ainsi sur la polyvalence des représentations dans ce périmètre précis, et non sur les capacités générales des modèles d’IA.

Sources des scores : mteb.