Llama 3.1 8B Instruct
Publié par Meta le 23 juillet 2024, Llama 3.1 8B Instruct est désormais ancien à l’échelle de l’IA. Avec 8 milliards de paramètres, il représente un LLM compact de sa période, aujourd’hui probablement dépassé et souvent retiré des catalogues de l’éditeur.
Publié par Meta le 23 juillet 2024, Llama 3.1 8B Instruct est désormais ancien à l’échelle de l’IA. Avec 8 milliards de paramètres, il représente un LLM compact de sa période, aujourd’hui probablement dépassé et souvent retiré des catalogues de l’éditeur.
Le modèle associe une fenêtre de contexte de 131 072 tokens à des connaissances arrêtées au 31 décembre 2023. Son principal avantage actuel reste son coût très économique, inférieur de 99% à la moyenne des LLM similaires. Sa licence Llama 3.1 Community License ne rend pas ses poids ouverts.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Meta |
| Poids | 🟢 Poids ouverts · usage commercial restreint (recherche / non commercial) |
| Licence | Llama 3.1 Community License |
| Date de sortie | 23 juillet 2024 |
| Connaissances jusqu'à | 2023-12-31 |
| Multimodal | non |
| Paramètres | 8 milliards |
| Fenêtre de contexte | 131 072 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| ARC-C | 83,4 % | 16ᵉ / 34 | llm-stats | Auto-déclaré |
| API-Bank | 82,6 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| IFEval | 80,4 % | 52ᵉ / 65 | llm-stats | Auto-déclaré |
| BFCL | 76,1 % | 3ᵉ / 11 | llm-stats | Auto-déclaré |
| MMLU (CoT) | 73,0 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| HumanEval | 72,6 % | 53ᵉ / 65 | llm-stats | Auto-déclaré |
| MMLU | 69,4 % | 83ᵉ / 98 | llm-stats | Auto-déclaré |
| Multilingual MGSM (CoT) | 68,9 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| DROP | 59,5 % | 23ᵉ / 29 | llm-stats | Auto-déclaré |
| Multipl-E MBPP | 52,4 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| MATH (CoT) | 51,9 % | 6ᵉ / 6 | llm-stats | Auto-déclaré |
| Multipl-E HumanEval | 50,8 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| MMLU-Pro | 48,3 % | 112ᵉ / 125 | llm-stats | Auto-déclaré |
| Nexus | 38,5 % | 3ᵉ / 4 | llm-stats | Auto-déclaré |
| GPQA | 30,4 % | 209ᵉ / 219 | llm-stats | Auto-déclaré |
| Gorilla Benchmark API Bench | 8,2 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Tarifs
| Fournisseur | Entrée / 1M | Sortie / 1M | Cache lecture / 1M |
|---|---|---|---|
| DeepInfra | 0,02 $ | 0,03 $ | n.d. |
Prix en dollars US par million de tokens.
Sa tarification se situe 99 % en dessous de la moyenne des LLM similaires, et 275 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.6 Sol, Gemini 3.5 Flash).
Coût & vitesse agentiques
| Indicateur | Valeur |
|---|---|
| Coût moyen par benchmark — Benchable | 0 $ |
| Latence moyenne par benchmark — Benchable | 5 min 50 s |
Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.
Notre analyse
Forces. Les meilleurs résultats bruts de Llama 3.1 8B Instruct concernent Ethics, Email Classification et General Knowledge. Sa fenêtre de 131 072 tokens constitue également une caractéristique notable pour un modèle de 8 milliards de paramètres. À sa sortie, il se classait dans le top 88% des 25 LLM de sa génération sur GPQA. Son avantage le plus net reste toutefois économique : ses tarifs minimaux atteignent 0,02 $ par million de tokens en entrée et 0,03 $ en sortie, soit environ 275 fois moins que les modèles frontière.
Limites et points d’attention. Les classements Benchable placent le modèle dans la partie basse des modèles évalués, y compris sur ses catégories affichant les meilleurs scores bruts. Instruction Following et Reasoning constituent ses faiblesses les plus marquées, tandis que Coding reste en retrait dans le classement comparatif. Près de deux ans après sa sortie, ses performances sont largement dépassées à l’échelle de l’IA et le modèle peut ne plus figurer au catalogue de l’éditeur. Ses connaissances s’arrêtent à fin 2023, ce qui limite aussi sa pertinence sur les informations plus récentes.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Benchable.ai (benchable.ai).