Lajavaness/bilingual-embedding-large

Publié par Lajavaness le 24 juin 2024, Lajavaness/bilingual-embedding-large est un modèle d’embedding bilingue français-anglais de 560 millions de paramètres, fondé sur XLM-RoBERTa. Il produit une représentation dense et normalisée de 1024 dimensions, obtenue par pooling moyen des tokens.

Distribué sous licence ouverte Apache 2.0, il peut être auto-hébergé. Ce SentenceTransformer rapproche les phrases françaises et anglaises dans un même espace vectoriel afin d’alimenter la recherche sémantique, la récupération de passages pour le RAG, la mesure de similarité et le clustering de textes.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Les résultats MTEB placent le modèle parmi les mieux classés sur les tracks Indic et German, avec des positions également solides en French et European. Ce profil indique une bonne aptitude aux traitements multilingues évalués par ces ensembles, notamment la classification, le clustering, la comparaison de paires et le bitext mining selon les tracks. Son entraînement combine SNLI et XNLI en anglais et en français, STSB dans les deux langues, puis une étape Augmented SBERT. La licence Apache 2.0 constitue un atout pratique pour le déploiement et l’adaptation en auto-hébergement.

Limites et points d'attention. Le track Medical est nettement moins bien classé que ses meilleurs résultats multilingues, ce qui le rend moins convaincant pour la recherche d’informations cliniques, biomédicales ou de santé grand public. Les résultats Dutch sont aussi plus modestes que ceux observés sur Indic, German, French et European. Les vecteurs denses de 1024 dimensions alourdissent les index et rendent la recherche plus coûteuse que des représentations plus petites. Avec environ deux ans d’ancienneté, durée très longue à l’échelle de l’IA, ce modèle de 2024 est probablement dépassé par des embeddings plus récents et peut ne plus figurer dans les catalogues courants. Usages pertinents : recherche sémantique et clustering bilingues français-anglais, similarité de phrases et récupération de passages pour un pipeline RAG auto-hébergé.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).