Alibaba-NLP/gte-multilingual-base

Publié par Alibaba le 20 juillet 2024 sous licence ouverte Apache 2.0, Alibaba-NLP/gte-multilingual-base est un modèle d’embedding encoder-only de 305 millions de paramètres actifs. Il couvre plus de 70 langues et accepte des séquences atteignant 8 192 tokens.

Le modèle produit des représentations denses élastiques de 128 à 768 dimensions, avec une dimension maximale de sortie de 768, ainsi que des vecteurs creux. Il sert à indexer des textes pour la recherche sémantique, le RAG, la mesure de similarité et le clustering. Son déploiement est prévu avec Transformers, sentence-transformers, Infinity et Text Embeddings Inference.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Alibaba-NLP/gte-multilingual-base se distingue surtout sur MTEB Korean, où il figure dans le top 10 pour des tâches mêlant classification, reranking et retrieval. Ses résultats sur MTEB European confirment son intérêt pour les corpus multilingues, tandis que Long-context Retrieval montre une aptitude solide à retrouver des informations dans des documents étendus. La séquence de 8 192 tokens facilite l’indexation de contenus longs. Les sorties denses élastiques permettent aussi d’arbitrer entre précision et poids de l’index, tandis que les vecteurs creux offrent une autre représentation exploitable. La licence Apache 2.0 autorise l’auto-hébergement et l’intégration dans des services commerciaux.

Limites et points d'attention. Les résultats sont moins convaincants dans les domaines spécialisés : Medical et RTEB Healthcare se situent derrière les meilleurs modèles de leurs classements, et RTEB Finance constitue le track le plus faible présenté. Une sortie dense de 768 dimensions alourdit l’index et augmente le coût de la recherche par rapport aux dimensions élastiques plus compactes. Sorti il y a environ deux ans, le modèle est ancien à l’échelle de l’IA, probablement dépassé par des générations récentes, et les modèles de sa période sont souvent retirés des catalogues éditeurs. Usages pertinents : recherche multilingue, RAG sur documents longs, similarité et clustering avec déploiement auto-hébergé.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).