sentence-transformers/gtr-t5-base

Publié par Sentence Transformers le 9 février 2022 sous licence ouverte Apache 2.0, sentence-transformers/gtr-t5-base est un modèle d’embedding de 110 millions de paramètres, tous actifs. Il utilise uniquement l’encodeur de T5-base, stocké en FP16, et produit des représentations denses de 768 dimensions.

Spécifiquement entraîné pour la recherche sémantique, il transforme phrases et paragraphes en vecteurs exploitables pour retrouver des contenus similaires, alimenter la phase de recherche d’un système RAG ou regrouper des textes par proximité. Son ancienneté d’environ quatre ans est très importante à l’échelle de l’IA.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. L’entraînement ciblé sur la recherche sémantique rend le modèle directement adapté au retrieval et à la comparaison de passages. Ses vecteurs denses de 768 dimensions peuvent servir à construire un index sémantique, à classer des résultats par similarité ou à effectuer du clustering. La licence Apache 2.0 facilite l’auto-hébergement et l’intégration dans des applications commerciales. Le stockage en FP16 réduit l’empreinte du modèle par rapport à une représentation en précision supérieure. Converti de TensorFlow gtr-base-1 vers PyTorch, il s’intègre à Sentence-Transformers à partir de la version 2.2.0.

Limites et points d'attention. Sur BEIR, qui mesure le zero-shot retrieval dans des tâches et domaines hétérogènes, son résultat de 45 % et son rang 129 sur 192 le placent dans la partie basse du classement. Cette position limite son intérêt face à des embeddings plus récents pour une recherche généraliste exigeante. Sa sortie en 2022 en fait un modèle très ancien pour ce secteur, probablement dépassé par des générations ultérieures, les modèles de cette période étant souvent retirés des catalogues. Les usages pertinents restent les index sémantiques auto-hébergés, le RAG, la similarité et le clustering lorsque la licence ouverte et l’écosystème Sentence-Transformers priment sur l’état de l’art.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).