Llama 3.2 11B Instruct
Publié par Meta le 25 septembre 2024, Llama 3.2 11B Instruct est un LLM de 11 milliards de paramètres désormais ancien à l’échelle de l’IA. Près de deux ans après sa sortie, il appartient à une génération probablement dépassée et souvent retirée des catalogues des éditeurs.
Publié par Meta le 25 septembre 2024, Llama 3.2 11B Instruct est un LLM de 11 milliards de paramètres désormais ancien à l’échelle de l’IA. Près de deux ans après sa sortie, il appartient à une génération probablement dépassée et souvent retirée des catalogues des éditeurs.
Son principal intérêt réside dans un positionnement très économique, associé à une fenêtre de contexte de 131 072 tokens. Distribué sous Llama 3.2 Community License avec des poids non ouverts, il combine un coût réduit et une capacité à traiter de longs contextes, mais ses connaissances s’arrêtent au 31 décembre 2023.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Meta |
| Poids | 🟢 Poids ouverts · usage commercial restreint (recherche / non commercial) |
| Licence | Llama 3.2 Community License |
| Date de sortie | 25 septembre 2024 |
| Connaissances jusqu'à | 2023-12-31 |
| Multimodal | oui |
| Paramètres | 11 milliards |
| Fenêtre de contexte | 128 000 tokens |
| Modalités (entrée → sortie) | text,image → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| AI2D | 91,1 % | 11ᵉ / 32 | llm-stats | Auto-déclaré |
| DocVQA | 88,4 % | 21ᵉ / 26 | llm-stats | Auto-déclaré |
| ChartQA | 83,4 % | 16ᵉ / 24 | llm-stats | Auto-déclaré |
| MMLU | 73,0 % | 76ᵉ / 98 | llm-stats | Auto-déclaré |
| MGSM | 68,9 % | 21ᵉ / 30 | llm-stats | Auto-déclaré |
| MATH | 51,9 % | 52ᵉ / 70 | llm-stats | Auto-déclaré |
| MathVista | 51,5 % | 35ᵉ / 38 | llm-stats | Auto-déclaré |
| MMMU | 50,7 % | 56ᵉ / 61 | llm-stats | Auto-déclaré |
| MMMU-Pro | 33,0 % | 64ᵉ / 64 | llm-stats | Auto-déclaré |
| GPQA | 32,8 % | 203ᵉ / 219 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. Llama 3.2 11B Instruct se distingue surtout par son rapport entre taille, contexte et prix. Sa fenêtre de 131 072 tokens autorise le traitement d’entrées volumineuses, tandis que ses tarifs minimaux sont identiques en entrée et en sortie, à 0.345 $ par million de tokens. Ce niveau est 83 % inférieur à la moyenne des LLM similaires et environ 15.9 fois moins cher que les modèles frontière. À sa sortie, son résultat sur GPQA le plaçait dans le top 82 % des 34 LLM de sa génération, soit une position située hors du groupe le moins performant, sans appartenir pour autant au sommet du classement.
Limites et points d’attention. Son ancienneté constitue aujourd’hui sa principale faiblesse. Les performances de cette génération sont probablement largement dépassées, et le modèle peut ne plus figurer au catalogue courant de Meta. Sa date limite de connaissances, fixée au 31 décembre 2023, réduit aussi sa pertinence sur les événements et informations ultérieurs. Enfin, la Llama 3.2 Community License ne correspond pas à une ouverture complète des poids, ce qui distingue ce modèle d’une publication entièrement ouverte.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).