DeepSeek R1 Distill Qwen 7B
Sorti en janvier 2025, DeepSeek R1 Distill Qwen 7B est déjà ancien à l’échelle de l’IA. Ce LLM dense de DeepSeek condense des schémas de raisonnement issus de DeepSeek-R1 dans un modèle de 8 milliards de paramètres, construit à partir de Qwen2.5-Math-7B.
Sorti en janvier 2025, DeepSeek R1 Distill Qwen 7B est déjà ancien à l’échelle de l’IA. Ce LLM dense de DeepSeek condense des schémas de raisonnement issus de DeepSeek-R1 dans un modèle de 8 milliards de paramètres, construit à partir de Qwen2.5-Math-7B.
Sa fenêtre de contexte atteint 131 072 tokens et ses connaissances s’arrêtent au 31 juillet 2024. Distribué sous licence MIT avec des poids ouverts, il autorise l’usage commercial. Il s’utilise comme un modèle Qwen ou Llama, notamment avec vLLM ou SGLang, malgré de légères modifications de configuration et de tokenizer.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | DeepSeek |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | MIT |
| Date de sortie | 20 janvier 2025 |
| Multimodal | non |
| Paramètres | 8 milliards |
| Fenêtre de contexte | 131 072 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| MATH-500 | 92,8 % | 23ᵉ / 31 | llm-stats | Auto-déclaré |
| AIME 2024 | 83,3 % | 19ᵉ / 52 | llm-stats | Auto-déclaré |
| GPQA | 49,1 % | 165ᵉ / 219 | llm-stats | Auto-déclaré |
| LiveCodeBench | 37,6 % | 50ᵉ / 72 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. DeepSeek R1 Distill Qwen 7B transpose dans un modèle plus petit des schémas de raisonnement produits par DeepSeek-R1, grâce à un fine-tuning réalisé sur des échantillons générés par ce dernier. À sa sortie, son résultat sur GPQA le plaçait dans la moitié supérieure des 59 LLM de sa génération, sans toutefois appartenir au groupe de tête. Sa fenêtre de contexte de 131 072 tokens constitue un autre atout concret pour le traitement de longues entrées. La licence MIT, les poids ouverts et l’usage commercial autorisé rendent également son exploitation peu restrictive.
Limites et points d'attention. Son classement initial sur GPQA restait proche du milieu de tableau, ce qui relativisait déjà son niveau face aux meilleurs modèles de sa période. Environ un an après sa sortie, ses performances sont probablement largement dépassées à l’échelle très rapide de l’IA, et ce type de modèle ancien est souvent retiré du catalogue de son éditeur. Ses connaissances s’arrêtent au 31 juillet 2024. Enfin, les légères modifications apportées aux configurations et aux tokenizers doivent être prises en compte lors de son intégration.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).