sentence-transformers/gtr-t5-large

Publié par Sentence Transformers le 9 février 2022 sous licence ouverte Apache 2.0, sentence-transformers/gtr-t5-large est un modèle d'embedding dense de 336 millions de paramètres. Il utilise uniquement l'encodeur de T5-large, stocké en FP16, et produit des vecteurs de 768 dimensions.

Spécifiquement entraîné pour la recherche sémantique, il encode des phrases et des paragraphes afin d'alimenter des moteurs de similarité, des systèmes RAG et des traitements de clustering. Converti de TensorFlow gtr-large-1 vers PyTorch, il nécessite Sentence-Transformers 2.2.0 ou une version ultérieure.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Son entraînement ciblé sur la recherche sémantique le destine directement au rapprochement de requêtes et de passages. La représentation dense en 768 dimensions fournit un format commun pour la recherche par similarité, le regroupement de contenus et la sélection de contexte dans un pipeline RAG. Le stockage en FP16 réduit l'empreinte du modèle par rapport à une représentation en précision supérieure. La licence Apache 2.0 autorise son intégration et son auto-hébergement dans des projets commerciaux ou internes.

Limites et points d'attention. Avec 336 millions de paramètres actifs, le modèle reste relativement volumineux pour un encodeur d'embeddings. Ses vecteurs de 768 dimensions imposent aussi un index et des calculs de similarité plus lourds que des représentations de dimension inférieure. Sur MTEB Dutch, son résultat le place en milieu de tableau parmi les modèles évalués sur des tâches de classification, de clustering et de pair classification, ce qui relativise son intérêt pour ces usages en néerlandais. Sorti il y a environ quatre ans, il appartient à une génération ancienne à l'échelle de l'IA et peut être dépassé par des solutions plus récentes. Usages pertinents : recherche sémantique, RAG, similarité de textes et clustering lorsque l'ouverture de la licence et la compatibilité avec Sentence-Transformers priment.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).