DeepSeek R1 Distill Qwen 1.5B
DeepSeek R1 Distill Qwen 1.5B est un petit LLM dense de DeepSeek, sorti le 20 janvier 2025. Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA, probablement dépassée par les modèles plus récents et souvent retirée des catalogues.
DeepSeek R1 Distill Qwen 1.5B est un petit LLM dense de DeepSeek, sorti le 20 janvier 2025. Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA, probablement dépassée par les modèles plus récents et souvent retirée des catalogues.
Basé sur Qwen2.5-Math-1.5B, il a été affiné avec des données ou des échantillons produits par DeepSeek-R1 afin de transférer des schémas de raisonnement vers un modèle de 2 milliards de paramètres. Sa licence MIT autorise l’usage commercial de ses poids ouverts.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | DeepSeek |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | MIT |
| Date de sortie | 20 janvier 2025 |
| Multimodal | non |
| Paramètres | 2 milliards |
| Fenêtre de contexte | 131 072 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| MATH-500 | 83,9 % | 29ᵉ / 31 | llm-stats | Auto-déclaré |
| AIME 2024 | 52,7 % | 44ᵉ / 52 | llm-stats | Auto-déclaré |
| GPQA | 33,8 % | 201ᵉ / 219 | llm-stats | Auto-déclaré |
| LiveCodeBench | 16,9 % | 66ᵉ / 72 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. DeepSeek R1 Distill Qwen 1.5B associe un format compact à une fenêtre de contexte de 131 072 tokens. Sa distillation vise à conserver, dans un modèle plus petit, des schémas de raisonnement issus de DeepSeek-R1. À sa sortie, il se situait dans le top 86% des 59 LLM de sa génération sur GPQA, un benchmark consacré aux questions scientifiques complexes. Son fonctionnement reprend celui des modèles Qwen ou Llama, avec des configurations et des tokenizers adaptés. Ses poids ouverts sous licence MIT permettent aussi un usage commercial.
Limites et points d'attention. Son classement sur GPQA ne le plaçait pas dans le haut du panier, même face aux modèles sortis durant les 18 mois précédant son lancement. Son ancienneté d’environ un an est désormais très importante dans ce secteur : ses performances sont probablement largement dépassées par celles des générations récentes, et les modèles de cette période sont souvent retirés du catalogue de leur éditeur. Ses connaissances s’arrêtent au 31 juillet 2024, ce qui exclut les événements et informations postérieurs sans apport de données externes.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).