Llama 3.1 405B Instruct
Sorti le 23 juillet 2024, Llama 3.1 405B Instruct est déjà ancien à l’échelle de l’IA. Ce LLM de Meta appartient désormais à une génération probablement dépassée par les modèles haut de gamme plus récents.
Sorti le 23 juillet 2024, Llama 3.1 405B Instruct est déjà ancien à l’échelle de l’IA. Ce LLM de Meta appartient désormais à une génération probablement dépassée par les modèles haut de gamme plus récents.
Ses 405 milliards de paramètres et sa fenêtre de contexte de 131 072 tokens en font néanmoins un modèle particulièrement imposant. Ses connaissances s’arrêtent au 31 décembre 2023. Il est distribué sous la Llama 3.1 Community License, avec des poids qui ne sont pas ouverts.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Meta |
| Poids | 🟢 Poids ouverts · usage commercial restreint (recherche / non commercial) |
| Licence | Llama 3.1 Community License |
| Date de sortie | 23 juillet 2024 |
| Multimodal | non |
| Paramètres | 405 milliards |
| Fenêtre de contexte | 128 000 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| ARC-C | 96,9 % | 2ᵉ / 34 | llm-stats | Auto-déclaré |
| GSM8k | 96,8 % | 5ᵉ / 47 | llm-stats | Auto-déclaré |
| API-Bank | 92,0 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| Multilingual MGSM (CoT) | 91,6 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| HumanEval | 89,0 % | 15ᵉ / 65 | llm-stats | Auto-déclaré |
| IFEval | 88,6 % | 25ᵉ / 65 | llm-stats | Auto-déclaré |
| MMLU (CoT) | 88,6 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| BFCL | 88,5 % | 1ᵉ / 11 | llm-stats | Auto-déclaré |
| MMLU | 87,3 % | 24ᵉ / 98 | llm-stats | Auto-déclaré |
| DROP | 84,8 % | 6ᵉ / 29 | llm-stats | Auto-déclaré |
| Multipl-E HumanEval | 75,2 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| MATH | 73,8 % | 30ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU-Pro | 73,3 % | 73ᵉ / 125 | llm-stats | Auto-déclaré |
| Multipl-E MBPP | 65,7 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| Nexus | 58,7 % | 1ᵉ / 4 | llm-stats | Auto-déclaré |
| GPQA | 50,7 % | 160ᵉ / 219 | llm-stats | Auto-déclaré |
| Gorilla Benchmark API Bench | 35,3 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, Llama 3.1 405B Instruct se situait dans le haut du classement de sa génération sur GPQA, parmi le top 28 % des 25 LLM publiés au cours des quelque 18 mois précédents. Ce résultat le plaçait parmi les modèles solides de son époque sur ce benchmark. Sa fenêtre de 131 072 tokens constituait également une caractéristique notable, adaptée au traitement de volumes de texte importants dans une même séquence. Le modèle associait ainsi une très grande taille, avec 405 milliards de paramètres, à un contexte étendu.
Limites et points d’attention. Près de deux ans après sa sortie, ses performances sont probablement largement dépassées par celles des modèles haut de gamme récents. Cette ancienneté est très importante dans un secteur qui évolue rapidement, et les modèles de cette période sont souvent retirés des catalogues de leurs éditeurs. La date limite des connaissances, fixée au 31 décembre 2023, réduit aussi la pertinence des réponses portant sur des événements ultérieurs. Enfin, la Llama 3.1 Community License ne correspond pas à une publication avec des poids ouverts, ce qui encadre l’accès et les possibilités de réutilisation.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).