ibm-granite/granite-embedding-125m-english

ibm-granite/granite-embedding-125m-english est un modèle d’embedding dense publié par IBM le 18 décembre 2024 sous licence ouverte Apache 2.0. Ce bi-encodeur de 125 millions de paramètres repose sur une architecture Transformer de type RoBERTa à encodeur seul et accepte jusqu’à 512 tokens, uniquement en anglais.

Le modèle transforme les textes en vecteurs de 768 dimensions par pooling CLS. Il sert à la recherche sémantique, à la récupération d’information pour le RAG, à la mesure de similarité et au clustering. Son développement combine préentraînement orienté retrieval, ajustement contrastif et distillation de connaissances.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Le positionnement MTEB est surtout favorable sur BEIR, consacré à la recherche zero-shot dans des tâches et domaines hétérogènes, ainsi que sur Long-context Retrieval. Ces résultats en font principalement un encodeur de recherche et de récupération d’information, plutôt qu’un modèle généraliste multilingue. Ses 125 millions de paramètres facilitent un déploiement plus léger que celui d’encodeurs beaucoup plus volumineux. La licence Apache 2.0 autorise l’auto-hébergement et l’intégration dans des systèmes commerciaux, tandis que les vecteurs denses de 768 dimensions restent adaptés aux index vectoriels courants.

Limites et points d'attention. La prise en charge exclusive de l’anglais limite directement les corpus multilingues. Les résultats French et European se situent dans la seconde moitié de leurs classements, ce qui confirme cette spécialisation linguistique. La fenêtre maximale de 512 tokens impose aussi de découper les documents longs, malgré un positionnement relativement correct sur Long-context Retrieval. Sorti fin 2024, le modèle appartient désormais à une génération ancienne à l’échelle de l’IA et peut être dépassé par des encodeurs plus récents. Usages pertinents : recherche sémantique en anglais, récupération de passages pour le RAG, détection de similarité et clustering de textes courts ou segmentés.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).