Devstral Medium
Devstral Medium est un LLM propriétaire de Mistral AI, publié le 10 juillet 2025. Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA, où le renouvellement des modèles est particulièrement rapide.
Devstral Medium est un LLM propriétaire de Mistral AI, publié le 10 juillet 2025. Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA, où le renouvellement des modèles est particulièrement rapide.
À sa sortie, Devstral Medium se situait dans la moitié supérieure des LLM de sa génération sur SWE-Bench Verified. Il associe une fenêtre de contexte de 131 072 tokens à des connaissances arrêtées au 30 juin 2025, soit quelques jours avant sa publication. Ses poids ne sont pas ouverts.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Mistral AI |
| Poids | 🔒 Propriétaire |
| Date de sortie | 10 juillet 2025 |
| Multimodal | non |
| Fenêtre de contexte | 128 000 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| SWE-Bench Verified | 61,6 % | 75ᵉ / 102 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, Devstral Medium figurait dans le top 42% des 31 LLM comparables sur SWE-Bench Verified, un benchmark consacré à la résolution de problèmes logiciels réels. Ce résultat le plaçait dans la moitié supérieure de sa génération, sans toutefois en faire l’un des modèles dominants de son époque. Sa fenêtre de contexte de 131 072 tokens constitue son autre caractéristique notable, avec une capacité à traiter des entrées longues. La proximité entre la date limite des connaissances et la sortie réduisait aussi le décalage informationnel initial.
Limites et points d’attention. Environ un an après sa sortie, Devstral Medium est très ancien selon le rythme d’évolution de l’IA. Ses performances sont probablement largement dépassées par celles de générations plus récentes, et les modèles de cet âge sont souvent retirés du catalogue de leur éditeur. Son classement d’époque restait par ailleurs intermédiaire plutôt qu’élite sur SWE-Bench Verified. Enfin, sa licence propriétaire et ses poids fermés limitent l’accès direct au modèle et son déploiement indépendant.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).