McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-supervised
Publié le 9 avril 2024 par McGill-NLP, McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-supervised est un modèle d’embedding dense de 8 milliards de paramètres, tous actifs. Dérivé de Meta-Llama-3-8B-Instruct, il transforme les textes en vecteurs de 4 096 dimensions.
Publié le 9 avril 2024 par McGill-NLP, McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-supervised est un modèle d’embedding dense de 8 milliards de paramètres, tous actifs. Dérivé de Meta-Llama-3-8B-Instruct, il transforme les textes en vecteurs de 4 096 dimensions.
Le modèle convertit un LLM décodeur en encodeur grâce à une attention bidirectionnelle et à la prédiction masquée du prochain token. Sous licence ouverte MIT, il sert à la recherche sémantique, au RAG, au calcul de similarité cosinus et au clustering. Il accepte des requêtes assorties d’instructions et des documents sans instruction.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Modèle d'embedding |
| Éditeur | McGill-NLP |
| Poids | 🟢 Poids ouverts |
| Licence | MIT |
| Date de sortie | 9 avril 2024 |
| Dimension du vecteur | 4 096 |
| Représentation | dense |
| Paramètres | 8 milliards |
| Paramètres actifs | 8 milliards |
| Longueur de séquence max | 8 192 tokens |
| Modalités (entrée → sortie) | text → embedding |
Performances (benchmarks)
| Benchmark | Score | Rang | Source | Fiabilité |
|---|---|---|---|---|
| MTEB: BEIR | 56,6 % | 27ᵉ / 192 | mteb | ✅ Mesuré |
Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
MTEB: BEIR
Notre analyse
Forces. Son résultat sur BEIR le place parmi les modèles solides de sa génération pour la recherche zero-shot sur des tâches et domaines hétérogènes. Cette orientation convient à l’appariement entre requêtes et documents dans un moteur sémantique ou un pipeline RAG. Les représentations reposent sur un pooling moyen. Les poids associent le modèle de base à une adaptation LoRA par prédiction masquée du prochain token, puis à une adaptation LoRA supervisée. La licence MIT facilite l’auto-hébergement, l’intégration et la modification.
Limites et points d’attention. Avec environ deux ans d’ancienneté, ce modèle appartient à une génération déjà très ancienne à l’échelle de l’IA, probablement dépassée par des embeddings plus récents et susceptible de ne plus figurer dans les catalogues actuels. Ses 8 milliards de paramètres rendent son exécution plus exigeante que celle d’encodeurs plus petits. Les vecteurs denses de 4 096 dimensions alourdissent également les index, le stockage et le calcul de similarité. Usages pertinents : recherche sémantique, retrieval pour RAG, détection de similarité et regroupement de textes, notamment en auto-hébergement.
Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).