Codestral-22B
Publié par Mistral AI le 29 mai 2024, Codestral-22B est un modèle de langage causal de 22 milliards de paramètres spécialisé dans le code. Près de deux ans après sa sortie, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont aujourd’hui…
Publié par Mistral AI le 29 mai 2024, Codestral-22B est un modèle de langage causal de 22 milliards de paramètres spécialisé dans le code. Près de deux ans après sa sortie, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont aujourd’hui probablement dépassées.
Son entraînement couvre plus de 80 langages de programmation, notamment Python, Java, C, C++, JavaScript et Bash. Le modèle combine un mode instruct, destiné aux questions et aux tâches de génération autour du code, avec un mode Fill in the Middle capable de compléter un passage entre un préfixe et un suffixe.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Mistral AI |
| Poids | 🟢 Poids ouverts · usage commercial restreint (recherche / non commercial) |
| Licence | MNPL-0.1 |
| Date de sortie | 29 mai 2024 |
| Multimodal | non |
| Paramètres | 22 milliards |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| HumanEval | 81,1 % | 42ᵉ / 65 | llm-stats | Auto-déclaré |
| MBPP | 78,2 % | 15ᵉ / 33 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. Codestral-22B réunit dans un même modèle plusieurs usages de développement logiciel. En mode instruct, il peut répondre à des questions sur du code, produire de la documentation, expliquer une implémentation, factoriser un programme ou générer du code. Son mode Fill in the Middle ajoute une fonction de complétion contextuelle entre deux portions existantes, adaptée aux modifications ciblées. La couverture de plus de 80 langages lui donne un périmètre plus large que les seuls langages les plus courants. Il peut fonctionner avec mistral_inference et la bibliothèque transformers.
Limites et points d'attention. Son ancienneté est désormais importante dans un secteur renouvelé rapidement. Codestral-22B est probablement largement dépassé par les modèles de code plus récents et les modèles de cette génération sont souvent retirés du catalogue de leur éditeur. Il ne comporte aucun mécanisme de modération, un point sensible pour les déploiements nécessitant un filtrage des requêtes ou des sorties. Sa licence MNPL-0.1 s’accompagne de poids non ouverts, ce qui limite l’accès au modèle malgré la possibilité de l’exécuter avec des outils logiciels courants.
Sources des données : LLM-Stats (llm-stats.com).