Mistral Small 3.1 24B Instruct
Mistral Small 3.1 24B Instruct est un LLM de Mistral AI sorti le 17 mars 2025. Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA. Cette version affinée par instructions compte 24 milliards de paramètres et possède des poids ouverts sous licence Apache…
Mistral Small 3.1 24B Instruct est un LLM de Mistral AI sorti le 17 mars 2025. Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA. Cette version affinée par instructions compte 24 milliards de paramètres et possède des poids ouverts sous licence Apache 2.0, avec usage commercial autorisé.
Le modèle traite le texte et les images, analyse de longs documents et accepte un contexte de 128 000 tokens. Il est multilingue, prend en charge l’appel natif de fonctions et la sortie JSON, et peut fonctionner localement après quantification. Son tarif très économique se situe 83% sous la moyenne des LLM similaires.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Mistral AI |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | Apache 2.0 |
| Date de sortie | 17 mars 2025 |
| Connaissances jusqu'à | 2023-10-31 |
| Multimodal | oui |
| Paramètres | 24 milliards |
| Fenêtre de contexte | 128 000 tokens |
| Modalités (entrée → sortie) | text,image → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Benchable : Ethics (Baseline) | 99,0 % | 120ᵉ / 251 | benchable | ✅ Mesuré |
| Benchable : General Knowledge (Baseline) | 98,7 % | 140ᵉ / 252 | benchable | ✅ Mesuré |
| Benchable : Hallucinations (Baseline) | 98,0 % | 68ᵉ / 233 | benchable | ✅ Mesuré |
| Benchable : Email Classification (Baseline) | 96,0 % | 206ᵉ / 259 | benchable | ✅ Mesuré |
| Benchable : Mathematics (Baseline) | 86,0 % | 143ᵉ / 226 | benchable | ✅ Mesuré |
| Benchable : Coding (Baseline) | 81,0 % | 180ᵉ / 253 | benchable | ✅ Mesuré |
| Benchable : Reasoning (Baseline) | 64,0 % | 168ᵉ / 246 | benchable | ✅ Mesuré |
| Benchable : Instruction Following (Baseline) | 54,3 % | 176ᵉ / 256 | benchable | ✅ Mesuré |
| HumanEval | 88,4 % | 18ᵉ / 65 | llm-stats | Auto-déclaré |
| MMLU | 80,6 % | 55ᵉ / 98 | llm-stats | Auto-déclaré |
| TriviaQA | 80,5 % | 4ᵉ / 18 | llm-stats | Auto-déclaré |
| MBPP | 74,7 % | 18ᵉ / 33 | llm-stats | Auto-déclaré |
| MATH | 69,3 % | 41ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU-Pro | 66,8 % | 92ᵉ / 125 | llm-stats | Auto-déclaré |
| MMMU | 59,3 % | 44ᵉ / 61 | llm-stats | Auto-déclaré |
| GPQA | 46,0 % | 177ᵉ / 221 | llm-stats | Auto-déclaré |
| SimpleQA | 10,4 % | 39ᵉ / 45 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
Benchable : Ethics (Baseline)
Benchable : General Knowledge (Baseline)
Classements Arena (Elo)
Arena Vision · 145 modèles classés
| Rang | Modèle | Elo |
|---|---|---|
| 1ᵉ | Claude Fable 5 | 1318 |
| 2ᵉ | Qwen3.8 Max | 1305 |
| 3ᵉ | Claude Opus 4.7 | 1303 |
| ⋯ | ⋯ | |
| 105ᵉ | Claude 3.5 Haiku | 1128 |
| 106ᵉ | Llama 4 Scout | 1128 |
| 107ᵉ | Mistral Small 3.1 24B Instruct | 1128 |
| 108ᵉ | step-1o-vision-32k-highres | 1125 |
| 109ᵉ | Qwen2.5 VL 72B Instruct | 1122 |
Tarifs
| Fournisseur | Entrée / 1M | Sortie / 1M | Cache lecture / 1M |
|---|---|---|---|
| Cloudflare | 0,351 $ | 0,555 $ | n.d. |
Prix en dollars US par million de tokens.
Sa tarification se situe 83 % en dessous de la moyenne des LLM similaires, et 15,7 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.6 Sol, Gemini 3.5 Flash).
Coût & vitesse agentiques
| Indicateur | Valeur |
|---|---|
| Coût moyen par benchmark — Benchable | 0 $ |
| Latence moyenne par benchmark — Benchable | 3 min 24 s |
Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.
Notre analyse
Forces. À sa sortie, Mistral Small 3.1 24B Instruct figurait dans le top 63% des LLM de sa génération sur GPQA. Ses scores bruts sont élevés en Ethics et Hallucinations, même si ces benchmarks plafonnés départagent mal les modèles. Sa grande fenêtre de contexte, la prise en charge des images, le multilinguisme et l’inférence locale renforcent sa polyvalence. Son coût constitue son principal avantage économique : il est environ 15.7 fois moins cher que les modèles frontière.
Limites et points d’attention. Ses résultats en Mathematics, Coding et Email Classification se situent en retrait des classements. En vision, il occupe le 107e rang sur 145, derrière Claude Fable 5, Qwen3.8 Max et Claude Opus 4.7. Claude Fable 5 est nettement devant. La limite des connaissances au 31 octobre 2023 réduit aussi sa pertinence sur les sujets récents. Après environ un an, ses performances sont largement dépassées et ce type d’ancienne version est souvent retiré du catalogue de l’éditeur. Les poids ouverts conservent toutefois un intérêt pour l’exécution locale et les déploiements à faible coût. Pour un résultat plus abouti, Claude Fable 5, Qwen3.8 Max ou Claude Opus 4.7 sont de meilleurs choix.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Arena.ai (arena.ai) · Benchable.ai (benchable.ai).