Ministral 8B Instruct
Sorti le 16 octobre 2024, Ministral 8B Instruct est un LLM de Mistral AI comptant 8 milliards de paramètres. Âgé d’environ deux ans, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont désormais largement dépassées.
Sorti le 16 octobre 2024, Ministral 8B Instruct est un LLM de Mistral AI comptant 8 milliards de paramètres. Âgé d’environ deux ans, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont désormais largement dépassées.
Ce modèle affiné pour les instructions combine une architecture Dense Transformer avec GQA, une fenêtre de contexte de 128 000 tokens et une attention interleaved sliding-window. Il traite des données multilingues et du code, prend en charge le chat, le suivi d’instructions et le function calling.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Mistral AI |
| Poids | 🟢 Poids ouverts · usage commercial restreint (recherche / non commercial) |
| Licence | Mistral Research License |
| Date de sortie | 16 octobre 2024 |
| Multimodal | non |
| Paramètres | 8 milliards |
| Fenêtre de contexte | 128 000 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| MT-Bench | 83,0 % | 9ᵉ / 12 | llm-stats | Auto-déclaré |
| Winogrande | 75,3 % | 13ᵉ / 22 | llm-stats | Auto-déclaré |
| ARC-C | 71,9 % | 18ᵉ / 34 | llm-stats | Auto-déclaré |
| Arena Hard | 70,9 % | 11ᵉ / 26 | llm-stats | Auto-déclaré |
| TriviaQA | 65,5 % | 15ᵉ / 18 | llm-stats | Auto-déclaré |
| MMLU | 65,0 % | 90ᵉ / 98 | llm-stats | Auto-déclaré |
| MATH | 54,5 % | 51ᵉ / 70 | llm-stats | Auto-déclaré |
| AGIEval | 48,3 % | 9ᵉ / 10 | llm-stats | Auto-déclaré |
| HumanEval | 34,8 % | 65ᵉ / 65 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. Ministral 8B Instruct réunit dans un modèle de 8 milliards de paramètres une longue fenêtre de contexte et plusieurs fonctions adaptées aux applications conversationnelles ou outillées. Son mécanisme d’attention suit un motif Ragged alternant 128k, 32k, 32k et 32k. Le tokenizer V3-Tekken repose sur un vocabulaire de 131k. Le modèle peut être exécuté avec vLLM ou mistral-inference et couvre notamment le chat, la détection de passkey, le suivi d’instructions et le function calling. À sa sortie, son résultat sur MATH le plaçait dans le top 64% des 39 LLM de sa génération, un positionnement honorable sans appartenir au groupe de tête.
Limites et points d’attention. Son ancienneté est très importante dans un secteur renouvelé rapidement. Ses performances sont aujourd’hui largement dépassées par des générations plus récentes, et les modèles de cette période sont souvent retirés du catalogue de leur éditeur. Son classement sur MATH signalait déjà, en 2024, un niveau éloigné des meilleurs modèles contemporains. Ce positionnement repose sur une seule source de données concordante. Enfin, la Mistral Research License ne rend pas ses poids ouverts, ce qui limite son statut par rapport aux modèles diffusés sous une licence ouverte.
Sources des données : LLM-Stats (llm-stats.com).