Qwen2.5 14B Instruct
Qwen2.5 14B Instruct est un LLM open-weights de Qwen, publié le 19 septembre 2024 sous licence Apache 2.0, avec usage commercial autorisé. Âgé de près de deux ans, il appartient déjà à une génération ancienne à l’échelle de l’IA et doit être comparé aux modèles de sa période.
Qwen2.5 14B Instruct est un LLM open-weights de Qwen, publié le 19 septembre 2024 sous licence Apache 2.0, avec usage commercial autorisé. Âgé de près de deux ans, il appartient déjà à une génération ancienne à l’échelle de l’IA et doit être comparé aux modèles de sa période.
Ce modèle causal de 15 milliards de paramètres est ajusté pour suivre des instructions. Il combine une architecture transformer à 48 couches avec RoPE, SwiGLU, RMSNorm et GQA, accepte un contexte allant jusqu’à 131 072 tokens et traite plus de 29 langues, dont le français.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Alibaba Cloud / Qwen Team |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | Apache 2.0 |
| Date de sortie | 19 septembre 2024 |
| Multimodal | non |
| Paramètres | 15 milliards |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| GSM8k | 94,8 % | 12ᵉ / 47 | llm-stats | Auto-déclaré |
| HumanEval | 83,5 % | 39ᵉ / 65 | llm-stats | Auto-déclaré |
| MBPP | 82,0 % | 10ᵉ / 33 | llm-stats | Auto-déclaré |
| MATH | 80,0 % | 20ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU-Redux | 80,0 % | 39ᵉ / 48 | llm-stats | Auto-déclaré |
| MMLU | 79,7 % | 61ᵉ / 98 | llm-stats | Auto-déclaré |
| BBH | 78,2 % | 10ᵉ / 12 | llm-stats | Auto-déclaré |
| MultiPL-E | 72,8 % | 8ᵉ / 13 | llm-stats | Auto-déclaré |
| ARC-C | 67,3 % | 26ᵉ / 34 | llm-stats | Auto-déclaré |
| MMLU-Pro | 63,7 % | 98ᵉ / 125 | llm-stats | Auto-déclaré |
| MBPP+ | 63,2 % | 3ᵉ / 4 | llm-stats | Auto-déclaré |
| TruthfulQA | 58,4 % | 8ᵉ / 18 | llm-stats | Auto-déclaré |
| HumanEval+ | 51,2 % | 9ᵉ / 10 | llm-stats | Auto-déclaré |
| GPQA | 45,5 % | 176ᵉ / 219 | llm-stats | Auto-déclaré |
| TheoremQA | 43,0 % | 4ᵉ / 6 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. Qwen2.5 14B Instruct associe un contexte étendu à une génération pouvant atteindre 8192 tokens, un format adapté aux textes longs. Ses capacités couvrent le code, les mathématiques, le suivi d’instructions, la compréhension de données structurées et la production de sorties structurées, notamment en JSON. À sa sortie, son résultat sur GPQA le plaçait dans le top 46% des 35 LLM de sa génération. Il se situait donc dans la partie supérieure du groupe étudié, sans appartenir aux modèles dominants. Sa licence Apache 2.0 autorise par ailleurs l’exploitation commerciale de ses poids ouverts.
Limites et points d’attention. Son classement sur GPQA était seulement intermédiaire dès 2024, ce qui limitait déjà son positionnement face aux meilleurs modèles de sa période. Ses performances sont aujourd’hui largement dépassées par les générations plus récentes, et un modèle de cet âge n’est souvent plus proposé au catalogue de son éditeur. L’évaluation comparative repose en outre sur une seule source de données concordante. Qwen2.5 14B Instruct conserve surtout un intérêt historique et technique comme représentant open-weights des LLM de taille moyenne publiés en 2024.
Sources des données : LLM-Stats (llm-stats.com).