Alibaba-NLP/gte-Qwen2-1.5B-instruct

Publié par Alibaba le 29 juillet 2024, Alibaba-NLP/gte-Qwen2-1.5B-instruct est un modèle d’embedding dense multilingue de la famille GTE, construit sur Qwen2-1.5B. Ses 2 milliards de paramètres, tous actifs, produisent des vecteurs de 8 960 dimensions. Distribué sous licence ouverte Apache 2.0, il peut être auto-hébergé.

Le modèle transforme les textes en représentations numériques destinées à la recherche sémantique, au RAG, à la mesure de similarité et au clustering. Il combine attention bidirectionnelle et réglage par instruction côté requête, après un entraînement multilingue couvrant plusieurs domaines avec des données supervisées et faiblement supervisées.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Le domaine médical constitue son principal point fort dans MTEB, avec un classement parmi les tout meilleurs pour la recherche d’informations cliniques, biomédicales et de santé grand public. Les résultats en français et sur l’ensemble European le placent également dans le haut du classement, ce qui soutient les usages multilingues de classification, de clustering, de recherche et de rapprochement de textes. Sur BEIR, son rang témoigne aussi d’une bonne capacité de retrieval zero-shot dans des tâches et domaines hétérogènes. La licence Apache 2.0 facilite l’intégration et l’auto-hébergement, tandis que la compatibilité déclarée avec Sentence Transformers, Transformers et infinity_emb offre plusieurs voies de déploiement.

Limites et points d'attention. Les performances relatives sont moins marquantes sur les ensembles Chinese et Indic que sur les tracks médical, français et European. La dimension de sortie de 8 960 alourdit les index vectoriels, augmente les besoins de stockage et peut rendre la recherche plus coûteuse que chez des modèles produisant des vecteurs plus compacts. Sorti il y a près de deux ans, il appartient à une génération déjà ancienne à l’échelle de l’IA et peut être dépassé par des modèles plus récents. Usages pertinents : recherche médicale, RAG multilingue, recherche sémantique en français et en langues européennes, similarité documentaire et clustering.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).