Mistral: Ministral 3B
Mistral: Ministral 3B est un LLM publié par Mistral AI le 17 octobre 2024. Près de deux ans après sa sortie, il appartient déjà à une génération ancienne à l’échelle de l’IA et ses résultats le situent loin des modèles haut de gamme actuels.
Mistral: Ministral 3B est un LLM publié par Mistral AI le 17 octobre 2024. Près de deux ans après sa sortie, il appartient déjà à une génération ancienne à l’échelle de l’IA et ses résultats le situent loin des modèles haut de gamme actuels.
Sa caractéristique la plus notable reste une fenêtre de contexte de 128 000 tokens. Ses connaissances s’arrêtent au 30 septembre 2024, une date proche de sa publication, mais qui limite sa pertinence sur les événements et évolutions ultérieurs.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Mistral AI |
| Poids | ▫ n.d. |
| Date de sortie | 17 octobre 2024 |
| Connaissances jusqu'à | 2024-09-30 |
| Multimodal | non |
| Fenêtre de contexte | 128 000 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Epoch: GPQA diamond | 25,3 % | 82ᵉ / 85 | epoch | ✅ Mesuré |
| Epoch: MATH level 5 | 14,4 % | 50ᵉ / 59 | epoch | ✅ Mesuré |
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
Epoch: GPQA diamond
Epoch: MATH level 5
Notre analyse
Forces. La fenêtre de contexte de 128 000 tokens constitue le principal atout de Mistral: Ministral 3B. Elle autorise le traitement de volumes de texte importants au sein d’une même requête. À sa sortie, le modèle figurait dans le top 94% des LLM de sa génération sur GPQA diamond (questions scientifiques de niveau doctorat), un positionnement qui le plaçait toutefois près du bas du groupe comparé.
Limites et points d'attention. Les résultats scientifiques et mathématiques sont faibles. Sur GPQA diamond, le modèle se classe presque en dernière position parmi les modèles évalués. Sur MATH level 5, consacré aux problèmes mathématiques difficiles, il apparaît également dans le bas du classement. Ces performances sont aujourd’hui largement dépassées. Son ancienneté est aussi un facteur déterminant: les modèles vieux d’environ deux ans sont fréquemment retirés des catalogues de leurs éditeurs au profit de générations plus récentes. Enfin, l’arrêt des connaissances au 30 septembre 2024 rend le modèle inadapté aux informations postérieures sans apport de contexte externe.
Sources des données : OpenRouter (openrouter.ai) · LLM-Stats (llm-stats.com) · Epoch AI (epoch.ai), CC-BY-4.0.