ibm-granite/granite-embedding-278m-multilingual

Publié par IBM le 18 décembre 2024, ibm-granite/granite-embedding-278m-multilingual est un modèle d’embedding multilingue de 278 millions de paramètres. Son architecture de type XLM-RoBERTa, fondée sur un Transformer encodeur seul, produit des vecteurs de longueur fixe à 768 dimensions.

Le modèle sert à indexer et comparer des textes pour la recherche sémantique, le retrieval d’un système RAG, la mesure de similarité et le clustering. Il couvre notamment le français, l’anglais, l’allemand, le coréen, l’arabe, le japonais et le chinois. Sa licence ouverte Apache 2.0 autorise l’auto-hébergement et l’intégration dans des applications commerciales.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Les résultats MTEB placent le modèle le plus favorablement sur le coréen et l’allemand, avec des positions également solides sur les langues indiciennes. Ces évaluations couvrent plusieurs usages des embeddings, notamment la classification, la recherche, le reranking, le clustering et la mise en correspondance de textes. La prise en charge de douze langues facilite la constitution d’index multilingues avec un même encodeur. La compatibilité avec Sentence Transformers et Hugging Face Transformers simplifie son intégration. Le pooling CLS suivi d’une normalisation fournit des représentations directement exploitables pour la similarité, tandis que la licence Apache 2.0 facilite le déploiement autonome.

Limites et points d’attention. Les classements MTEB sont moins favorables sur les ensembles European et Russian, tandis que le français se situe derrière les meilleurs modèles évalués. Les vecteurs à 768 dimensions imposent un compromis entre richesse de représentation, taille des index et coût de la recherche à grande échelle. Son ancienneté d’environ deux ans est très longue dans ce domaine, ce qui rend le modèle probablement dépassé par des embeddings multilingues plus récents et susceptible d’avoir quitté certains catalogues. Usages pertinents : recherche sémantique multilingue, retrieval pour RAG, déduplication, similarité et clustering de corpus dans les langues prises en charge.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).