DeepSeek R1 Distill Qwen 14B
DeepSeek R1 Distill Qwen 14B est un LLM dense de 15 milliards de paramètres publié par DeepSeek le 20 janvier 2025. Basé sur Qwen2.5-14B, il a été affiné avec des échantillons produits par DeepSeek-R1 afin de transférer des schémas de raisonnement vers un modèle plus petit.
DeepSeek R1 Distill Qwen 14B est un LLM dense de 15 milliards de paramètres publié par DeepSeek le 20 janvier 2025. Basé sur Qwen2.5-14B, il a été affiné avec des échantillons produits par DeepSeek-R1 afin de transférer des schémas de raisonnement vers un modèle plus petit.
Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA et ses performances sont probablement dépassées. Il conserve néanmoins une fenêtre de contexte de 131 072 tokens, des connaissances arrêtées au 31 juillet 2024 et une licence MIT autorisant l’usage commercial de ses poids ouverts.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | DeepSeek |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | MIT |
| Date de sortie | 20 janvier 2025 |
| Multimodal | non |
| Paramètres | 15 milliards |
| Fenêtre de contexte | 131 072 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| MATH-500 | 93,9 % | 22ᵉ / 31 | llm-stats | Auto-déclaré |
| AIME 2024 | 80,0 % | 27ᵉ / 52 | llm-stats | Auto-déclaré |
| GPQA | 59,1 % | 147ᵉ / 219 | llm-stats | Auto-déclaré |
| LiveCodeBench | 53,1 % | 40ᵉ / 72 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. DeepSeek R1 Distill Qwen 14B se distingue surtout en mathématiques : son résultat à MATH level 5 le place dans le premier quart des modèles évalués. La distillation à partir d’échantillons de DeepSeek-R1 vise précisément à préserver des schémas de raisonnement dans un modèle de taille plus contenue. Les domaines évalués couvrent également le code et d’autres tâches de raisonnement. À sa sortie, il figurait dans le top 44% des LLM de sa génération sur GPQA diamond, un test de questions scientifiques de niveau doctorat. Il s’utilise selon les principes des modèles Qwen ou Llama, avec les configurations et tokenizers modifiés fournis pour cette variante.
Limites et points d’attention. Son résultat sur GPQA diamond reste modeste dans le classement général, où le modèle se situe dans la partie basse. Ce contraste avec MATH level 5 indique un profil nettement plus convaincant en mathématiques que sur les questions scientifiques avancées. Son ancienneté d’environ un an est très importante dans ce secteur : ses performances sont aujourd’hui probablement largement dépassées, et les modèles de cette période sont souvent retirés du catalogue de leur éditeur. Sa limite de connaissances au 31 juillet 2024 réduit aussi sa pertinence pour les informations plus récentes.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Epoch AI (epoch.ai), CC-BY-4.0.