sdadas/mmlw-e5-large

Publié par sdadas le 17 novembre 2023 sous licence ouverte Apache 2.0, sdadas/mmlw-e5-large est un modèle d’embedding dense de 560 millions de paramètres. Initialisé à partir de multilingual E5, puis entraîné par distillation multilingue sur des paires polonais-anglais, cet encodeur est principalement orienté vers les textes polonais.

Chaque texte est converti en un vecteur de 1024 dimensions, exploitable pour la recherche sémantique, le RAG, la mesure de similarité et le clustering. Le modèle distingue les requêtes et les documents au moyen des préfixes « query: » et « passage: », et peut également servir de base à un affinage spécialisé.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Le meilleur résultat MTEB du modèle concerne le français, où il se place dans la première moitié du classement. Les évaluations European et German indiquent aussi une aptitude multilingue exploitable pour la classification, le clustering, la comparaison de paires et certaines tâches de recherche. Les résultats en Medical et en Long-context Retrieval restent également dans la première moitié de leurs classements respectifs. La licence Apache 2.0 autorise l’auto-hébergement et l’adaptation, tandis que l’entraînement polonais-anglais constitue un atout pour les corpus centrés sur le polonais ou associant ces deux langues.

Limites et points d'attention. Le track Dutch est le moins favorable en position relative, avec un classement dans la seconde moitié. Les performances European et German demeurent intermédiaires plutôt que dominantes, et les résultats médicaux ou sur le contexte long ne signalent pas une spécialisation de premier plan. Les vecteurs de 1024 dimensions alourdissent les index et rendent la recherche plus coûteuse que des représentations plus compactes. Avec environ trois ans d’ancienneté, durée très longue à l’échelle de l’IA, ce modèle de 2023 est probablement dépassé par des embeddings plus récents. Usages pertinents : recherche sémantique, RAG, similarité et clustering de corpus multilingues, notamment polonais-anglais, après validation sur les données visées.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).