Llama 3.1 Nemotron 70B Instruct
Publié par NVIDIA le 1 octobre 2024, Llama 3.1 Nemotron 70B Instruct est un LLM de 70 milliards de paramètres fondé sur Llama 3.1. Âgé d’environ deux ans, il appartient désormais à une génération ancienne à l’échelle de l’IA, probablement dépassée par les modèles plus récents.
Publié par NVIDIA le 1 octobre 2024, Llama 3.1 Nemotron 70B Instruct est un LLM de 70 milliards de paramètres fondé sur Llama 3.1. Âgé d’environ deux ans, il appartient désormais à une génération ancienne à l’échelle de l’IA, probablement dépassée par les modèles plus récents.
NVIDIA l’a personnalisé pour améliorer l’utilité des réponses et le suivi d’instructions généraliste. Son entraînement RLHF repose sur REINFORCE, avec Llama 3.1 70B Instruct comme politique initiale, un modèle de récompense Nemotron et les préférences HelpSteer2. Il traite et produit du texte, avec une fenêtre de contexte de 131 072 tokens.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | NVIDIA |
| Poids | 🟢 Poids ouverts · usage commercial restreint (recherche / non commercial) |
| Licence | Llama 3.1 Community License |
| Date de sortie | 1 octobre 2024 |
| Connaissances jusqu'à | 2023-12-01 |
| Multimodal | non |
| Paramètres | 70 milliards |
| Fenêtre de contexte | 131 072 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| GSM8k | 91,4 % | 22ᵉ / 47 | llm-stats | Auto-déclaré |
| HellaSwag | 85,6 % | 12ᵉ / 27 | llm-stats | Auto-déclaré |
| Winogrande | 84,5 % | 5ᵉ / 22 | llm-stats | Auto-déclaré |
| MMLU | 80,2 % | 59ᵉ / 98 | llm-stats | Auto-déclaré |
| ARC-C | 69,2 % | 23ᵉ / 34 | llm-stats | Auto-déclaré |
| TruthfulQA | 58,6 % | 7ᵉ / 18 | llm-stats | Auto-déclaré |
| MT-Bench | 9,0 % | 12ᵉ / 12 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Entraînement & empreinte
| Indicateur | Valeur |
|---|---|
| Compute d'entraînement | 7,9 × 10²⁴ FLOP |
| Jeu de données | Llama 3 dataset |
| Durée d'entraînement | 96 h |
| Pays | United States of America,United States of America |
Notre analyse
Forces. À sa sortie, Llama 3.1 Nemotron 70B Instruct se situait dans la moitié supérieure des LLM de sa génération sur MMLU, sans appartenir au groupe de tête. Son principal intérêt technique résidait dans son adaptation du socle Llama 3.1 par NVIDIA, au moyen d’un entraînement RLHF orienté vers l’utilité des réponses. Sa longue fenêtre de contexte autorise le traitement d’entrées textuelles volumineuses. Le modèle peut être déployé avec NVIDIA NeMo, TRT-LLM et Triton, ou converti pour Hugging Face Transformers.
Limites et points d'attention. Son classement dans le top 49% sur MMLU parmi les 41 LLM de sa génération correspondait déjà davantage à un positionnement de milieu de tableau qu’à une référence de premier plan. Environ deux ans après sa sortie, ses performances sont probablement largement dépassées, et cette génération de modèles est souvent retirée des catalogues des éditeurs. Ses connaissances s’arrêtent au 1er décembre 2023. L’entrée maximale déclarée est de 128k tokens et la sortie maximale de 4k tokens. Son ajustement vise le suivi d’instructions généraliste, pas les domaines spécialisés comme les mathématiques. Enfin, la Llama 3.1 Community License ne rend pas ses poids ouverts.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Epoch AI (epoch.ai), CC-BY-4.0.