McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-supervised

Publié le 9 avril 2024 par McGill-NLP, McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-supervised est un modèle d’embedding dense de 8 milliards de paramètres, tous actifs. Dérivé de Meta-Llama-3-8B-Instruct, il transforme les textes en vecteurs de 4 096 dimensions.

Publié le 9 avril 2024 par McGill-NLP, McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-supervised est un modèle d’embedding dense de 8 milliards de paramètres, tous actifs. Dérivé de Meta-Llama-3-8B-Instruct, il transforme les textes en vecteurs de 4 096 dimensions.

Le modèle convertit un LLM décodeur en encodeur grâce à une attention bidirectionnelle et à la prédiction masquée du prochain token. Sous licence ouverte MIT, il sert à la recherche sémantique, au RAG, au calcul de similarité cosinus et au clustering. Il accepte des requêtes assorties d’instructions et des documents sans instruction.

Caractéristiques

CaractéristiqueValeur
TypeModèle d'embedding
ÉditeurMcGill-NLP
Poids🟢 Poids ouverts
LicenceMIT
Date de sortie9 avril 2024
Dimension du vecteur4 096
Représentationdense
Paramètres8 milliards
Paramètres actifs8 milliards
Longueur de séquence max8 192 tokens
Modalités (entrée → sortie)text → embedding

Performances (benchmarks)

BenchmarkScoreRangSourceFiabilité
MTEB: BEIR56,6 %27ᵉ / 192mteb✅ Mesuré

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Son résultat sur BEIR le place parmi les modèles solides de sa génération pour la recherche zero-shot sur des tâches et domaines hétérogènes. Cette orientation convient à l’appariement entre requêtes et documents dans un moteur sémantique ou un pipeline RAG. Les représentations reposent sur un pooling moyen. Les poids associent le modèle de base à une adaptation LoRA par prédiction masquée du prochain token, puis à une adaptation LoRA supervisée. La licence MIT facilite l’auto-hébergement, l’intégration et la modification.

Limites et points d’attention. Avec environ deux ans d’ancienneté, ce modèle appartient à une génération déjà très ancienne à l’échelle de l’IA, probablement dépassée par des embeddings plus récents et susceptible de ne plus figurer dans les catalogues actuels. Ses 8 milliards de paramètres rendent son exécution plus exigeante que celle d’encodeurs plus petits. Les vecteurs denses de 4 096 dimensions alourdissent également les index, le stockage et le calcul de similarité. Usages pertinents : recherche sémantique, retrieval pour RAG, détection de similarité et regroupement de textes, notamment en auto-hébergement.


Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).