avsolatorio/GIST-large-Embedding-v0

Publié par avsolatorio le 14 février 2024 sous licence ouverte MIT, GIST-large-Embedding-v0 est un modèle dense de 335 millions de paramètres. Il produit des vecteurs de 1 024 dimensions et dérive de BAAI/bge-large-en-v1.5, affiné sur une compilation de MEDI et de données de classification MTEB enrichie de triplets minés.

Le modèle encode directement les textes et les requêtes, sans instruction préalable. Compatible avec Sentence Transformers, il sert à la recherche sémantique, à la récupération de passages pour le RAG, à la mesure de similarité et au clustering de contenus.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Le meilleur résultat relatif apparaît sur BEIR, ce qui en fait surtout un modèle adapté à la recherche zero-shot dans des corpus et domaines hétérogènes. Le track French est également mieux placé que ses autres évaluations linguistiques, tandis que les résultats European et German indiquent une capacité exploitable au-delà de l’anglais pour la classification, le clustering et la comparaison de textes. La licence MIT facilite l’auto-hébergement et l’intégration commerciale. L’encodage sans instruction simplifie les pipelines de recherche, notamment avec Sentence Transformers.

Limites et points d'attention. Les performances sont moins convaincantes sur les tracks Legal et Dutch, où le modèle se situe autour du milieu de tableau, ce qui appelle une validation sur les corpus spécialisés ou néerlandais visés. Ses vecteurs de 1 024 dimensions alourdissent les index et rendent la recherche plus coûteuse que des représentations plus compactes. Avec environ deux ans d’ancienneté, durée très longue à l’échelle de l’IA, ce modèle de février 2024 est probablement dépassé par des modèles d’embedding plus récents de son segment et peut avoir disparu des sélections courantes de l’éditeur. Usages pertinents : recherche sémantique généraliste, RAG, similarité et clustering, avec évaluation préalable en contexte juridique ou néerlandais.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).