Mistral Small 3 24B Base
Sorti le 30 janvier 2025, Mistral Small 3 24B Base est un modèle de langage de base de Mistral AI. Son ancienneté d’environ un an est déjà très longue à l’échelle de l’IA : il doit être comparé aux modèles de sa génération, ses performances étant probablement dépassées aujourd’hui.
Sorti le 30 janvier 2025, Mistral Small 3 24B Base est un modèle de langage de base de Mistral AI. Son ancienneté d’environ un an est déjà très longue à l’échelle de l’IA : il doit être comparé aux modèles de sa génération, ses performances étant probablement dépassées aujourd’hui.
Ses 24 milliards de paramètres s’accompagnent d’une fenêtre de contexte de 32k et du tokenizer Tekken, doté d’un vocabulaire de 131k. Le modèle couvre des dizaines de langues, notamment le français, l’anglais, l’allemand, l’espagnol, l’italien, le chinois, le japonais et le coréen.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Mistral AI |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | Apache 2.0 |
| Date de sortie | 30 janvier 2025 |
| Connaissances jusqu'à | 2023-10-01 |
| Multimodal | oui |
| Paramètres | 24 milliards |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| ARC-C | 91,3 % | 9ᵉ / 34 | llm-stats | Auto-déclaré |
| GSM8k | 80,7 % | 38ᵉ / 47 | llm-stats | Auto-déclaré |
| MMLU | 80,7 % | 53ᵉ / 98 | llm-stats | Auto-déclaré |
| TriviaQA | 80,3 % | 6ᵉ / 18 | llm-stats | Auto-déclaré |
| MBPP | 69,6 % | 22ᵉ / 33 | llm-stats | Auto-déclaré |
| AGIEval | 65,8 % | 1ᵉ / 10 | llm-stats | Auto-déclaré |
| MMLU-Pro | 54,4 % | 105ᵉ / 125 | llm-stats | Auto-déclaré |
| MATH | 46,0 % | 61ᵉ / 70 | llm-stats | Auto-déclaré |
| GPQA | 34,4 % | 200ᵉ / 219 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, Mistral Small 3 24B Base se situait dans le top 85% des 61 LLM de sa génération sur GPQA, un benchmark consacré aux questions scientifiques complexes. Son positionnement de modèle de base à 24 milliards de paramètres est complété par des capacités conversationnelles et de raisonnement avancées. Sa prise en charge de dizaines de langues élargit son champ d’application au-delà de l’anglais. La fenêtre de contexte de 32k autorise le traitement de séquences étendues, tandis que le vocabulaire de 131k du tokenizer Tekken accompagne cette couverture multilingue. La licence Apache 2.0 permet l’usage, la modification et l’exploitation commerciale ou non commerciale des poids ouverts.
Limites et points d’attention. Avec des connaissances arrêtées au 1er octobre 2023, le modèle ne couvre pas les événements et informations ultérieurs. Son âge le pénalise également : après environ un an, durée très longue dans ce secteur, ses performances sont probablement largement dépassées par celles de modèles plus récents. Les modèles de cette période sont aussi souvent retirés du catalogue de leur éditeur. Son classement GPQA à sa sortie le situait dans le top 85% de sa génération, sans le placer parmi les références les plus solides sur ce test.
Sources des données : LLM-Stats (llm-stats.com).