sdadas/mmlw-roberta-base

Publié par sdadas le 17 novembre 2023 sous licence ouverte Apache 2.0, sdadas/mmlw-roberta-base est un encodeur de 124 millions de paramètres spécialisé dans les textes polonais. Initialisé à partir de Polish RoBERTa, il a été distillé au moyen d’un modèle enseignant English FlagEmbeddings et de paires de textes polonais-anglais.

Le modèle transforme les textes en représentations denses de 768 dimensions. Ces vecteurs servent à la recherche sémantique, à la récupération de passages pour le RAG, à la mesure de similarité et au clustering. Le modèle peut aussi constituer une base pour un affinage ultérieur.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Les résultats MTEB sont relativement meilleurs sur les évaluations European et French, qui couvrent notamment la classification, le clustering, la comparaison de paires et le bitext mining. La distillation multilingue à partir de paires polonais-anglais renforce son intérêt pour la représentation de textes polonais et les rapprochements entre langues. La licence Apache 2.0 autorise l’auto-hébergement, la modification et l’intégration dans des applications commerciales. Son architecture de 124 millions de paramètres reste adaptée à la production de vecteurs denses destinés à l’indexation.

Limites et points d'attention. Les classements MTEB placent le modèle dans la partie basse des tableaux European, French, German et Dutch. Les résultats sont encore plus modestes sur BEIR, consacré à la recherche zero-shot dans des domaines hétérogènes, tandis que le track Medical ne révèle pas de spécialisation clinique ou biomédicale marquée. Sorti en 2023, il est ancien à l’échelle de l’IA et probablement dépassé par des embeddings plus récents. Avec Sentence-Transformers, chaque requête doit commencer par le préfixe « zapytanie: », faute de quoi la représentation peut ne pas correspondre au format d’entraînement. Usages pertinents : recherche sémantique et clustering de textes polonais, RAG auto-hébergé et affinage spécialisé.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).