Mistral Small 3.1 24B Base
Sorti le 17 mars 2025, Mistral Small 3.1 24B Base est un LLM open-weights de Mistral AI. Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA, probablement dépassée par les modèles plus récents et souvent retirée des catalogues des éditeurs.
Sorti le 17 mars 2025, Mistral Small 3.1 24B Base est un LLM open-weights de Mistral AI. Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA, probablement dépassée par les modèles plus récents et souvent retirée des catalogues des éditeurs.
Ce checkpoint pré-entraîné de 24 milliards de paramètres, dérivé de Mistral Small 3, combine traitement du texte et analyse d’images. Il prend en charge des dizaines de langues, dispose d’un contexte de 128 000 tokens et sert de socle à Mistral-Small-3.1-24B-Instruct-2503. Sa licence Apache 2.0 autorise les usages commerciaux.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Mistral AI |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | Apache 2.0 |
| Date de sortie | 17 mars 2025 |
| Multimodal | oui |
| Paramètres | 24 milliards |
| Fenêtre de contexte | 128 000 tokens |
| Modalités (entrée → sortie) | text,image → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| MMLU | 81,0 % | 52ᵉ / 98 | llm-stats | Auto-déclaré |
| TriviaQA | 80,5 % | 4ᵉ / 18 | llm-stats | Auto-déclaré |
| MMMU | 59,3 % | 44ᵉ / 61 | llm-stats | Auto-déclaré |
| MMLU-Pro | 56,0 % | 104ᵉ / 125 | llm-stats | Auto-déclaré |
| GPQA | 37,5 % | 194ᵉ / 219 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. Mistral Small 3.1 24B Base réunit dans un même checkpoint une fenêtre de contexte étendue, des capacités de vision et une couverture multilingue incluant notamment le français, l’anglais, l’allemand, le japonais, le chinois, l’arabe et l’espagnol. Son tokenizer Tekken repose sur un vocabulaire de 131 000 entrées. À sa sortie, le modèle se classait dans le top 79% des 80 LLM de sa génération sur GPQA, un benchmark consacré aux questions scientifiques complexes. Son format open-weights et sa licence Apache 2.0 permettent par ailleurs l’adaptation et l’exploitation commerciale.
Limites et points d’attention. Un an représente une ancienneté très importante dans ce secteur : ses performances sont aujourd’hui probablement largement dépassées, et les modèles de cette période sont souvent retirés du catalogue de leur éditeur. Son positionnement sur GPQA à sa sortie ne le plaçait pas parmi les références les plus fortes de sa génération. Il s’agit surtout d’un checkpoint de base pré-entraîné, non conçu pour suivre directement des instructions sans adaptation. Mistral AI recommande un déploiement avec vLLM. Enfin, l’évaluation disponible repose sur une seule source de données concordante, ce qui limite la portée de la comparaison.
Sources des données : LLM-Stats (llm-stats.com).