nvidia/NV-Embed-v2
Publié par NVIDIA le 9 septembre 2024, nvidia/NV-Embed-v2 est un modèle d'embedding dense de 8 milliards de paramètres, tous actifs. Fondé sur Mistral-7B-v0.1, il produit des vecteurs de 4 096 dimensions grâce à un pooling Latent-Attention.
Publié par NVIDIA le 9 septembre 2024, nvidia/NV-Embed-v2 est un modèle d'embedding dense de 8 milliards de paramètres, tous actifs. Fondé sur Mistral-7B-v0.1, il produit des vecteurs de 4 096 dimensions grâce à un pooling Latent-Attention.
Le modèle sert à la recherche sémantique, au RAG, à la mesure de similarité et au clustering, sans générer de texte. Il couvre notamment le français et plusieurs langues européennes. Sa licence CC-BY-NC 4.0 autorise le partage et l'adaptation avec attribution, mais exclut les usages commerciaux.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Modèle d'embedding |
| Éditeur | NVIDIA |
| Poids | 🟢 Poids ouverts |
| Licence | CC-BY-NC 4.0 |
| Date de sortie | 9 septembre 2024 |
| Dimension du vecteur | 4 096 |
| Représentation | dense |
| Paramètres | 8 milliards |
| Paramètres actifs | 8 milliards |
| Longueur de séquence max | 32 768 tokens |
| Modalités (entrée → sortie) | text → embedding |
Performances (benchmarks)
| Benchmark | Score | Rang | Source | Fiabilité |
|---|---|---|---|---|
| MTEB: BEIR | 63,2 % | 3ᵉ / 192 | mteb | ✅ Mesuré |
| MTEB: Long-context Retrieval | 25,4 % | 140ᵉ / 170 | mteb | ✅ Mesuré |
| MTEB: RTEB Legal | 35,8 % | 92ᵉ / 208 | mteb | ✅ Mesuré |
| MTEB: RTEB Healthcare | 67,3 % | 11ᵉ / 97 | mteb | ✅ Mesuré |
| MTEB: RTEB Finance | 71,5 % | 31ᵉ / 97 | mteb | ✅ Mesuré |
| MTEB: Medical | 63,6 % | 11ᵉ / 158 | mteb | ✅ Mesuré |
| MTEB: Legal | 44,3 % | 55ᵉ / 157 | mteb | ✅ Mesuré |
| MTEB: European | 58,6 % | 25ᵉ / 128 | mteb | ✅ Mesuré |
| MTEB: RTEB French | 61,5 % | 7ᵉ / 218 | mteb | ✅ Mesuré |
| MTEB: RTEB German | 18,4 % | 124ᵉ / 209 | mteb | ✅ Mesuré |
| MTEB: Indic | 56,3 % | 39ᵉ / 119 | mteb | ✅ Mesuré |
| MTEB: Instruction Following | 1,0 % | 33ᵉ / 196 | mteb | ✅ Mesuré |
Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
MTEB: BEIR
MTEB: Long-context Retrieval
Notre analyse
Forces. NV-Embed-v2 se distingue surtout en recherche d'information généraliste zero-shot sur BEIR, où il figure parmi les meilleurs modèles évalués. Ses résultats sont également solides pour le retrieval en français, notamment sur des contenus juridiques et de connaissances générales, ainsi que dans les domaines médical, biomédical et de santé. Le modèle accepte des instructions pour orienter les requêtes, tandis que les passages à indexer n'en nécessitent pas. Son entraînement combine un ajustement par instructions en deux étapes et une sélection de négatifs difficiles tenant compte de la pertinence positive.
Limites et points d'attention. Ses performances sont moins compétitives sur l'ensemble European et en finance que sur BEIR, le français ou la santé. Les vecteurs de 4 096 dimensions alourdissent les index et augmentent le coût de stockage et de recherche par rapport à des représentations plus compactes. Avec 8 milliards de paramètres actifs, le déploiement est également conséquent. La licence CC-BY-NC 4.0 restreint l'exploitation commerciale. Sorti en 2024, il appartient désormais à une génération ancienne à l'échelle de l'IA et peut être dépassé ou retiré des catalogues actuels. Usages pertinents : retrieval zero-shot, RAG documentaire, recherche médicale ou francophone et clustering hors contexte commercial.
Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).