Qwen2.5-Coder 7B Instruct
Qwen2.5-Coder 7B Instruct est un LLM open-weights publié par Qwen en septembre 2024. Conçu comme une déclinaison Coder au format Instruct, il associe 7 milliards de paramètres à une fenêtre de contexte particulièrement étendue. Sa licence Apache 2.0 autorise les usages commerciaux.
Qwen2.5-Coder 7B Instruct est un LLM open-weights publié par Qwen en septembre 2024. Conçu comme une déclinaison Coder au format Instruct, il associe 7 milliards de paramètres à une fenêtre de contexte particulièrement étendue. Sa licence Apache 2.0 autorise les usages commerciaux.
Âgé d’environ deux ans, le modèle appartient déjà à une génération ancienne à l’échelle de l’IA. Il doit donc être comparé aux modèles disponibles lors de sa sortie, plutôt qu’aux systèmes actuels. Ses connaissances s’arrêtent au 30 juin 2024, une limite importante pour les sujets techniques ayant évolué depuis.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Alibaba Cloud / Qwen Team |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | Apache 2.0 |
| Date de sortie | 19 septembre 2024 |
| Multimodal | non |
| Paramètres | 7 milliards |
| Fenêtre de contexte | 131 072 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| HumanEval | 88,4 % | 20ᵉ / 65 | llm-stats | Auto-déclaré |
| GSM8k | 83,9 % | 35ᵉ / 47 | llm-stats | Auto-déclaré |
| MBPP | 83,5 % | 9ᵉ / 33 | llm-stats | Auto-déclaré |
| HellaSwag | 76,8 % | 21ᵉ / 27 | llm-stats | Auto-déclaré |
| Winogrande | 72,9 % | 15ᵉ / 22 | llm-stats | Auto-déclaré |
| MMLU | 67,6 % | 87ᵉ / 98 | llm-stats | Auto-déclaré |
| MMLU-Redux | 66,6 % | 46ᵉ / 48 | llm-stats | Auto-déclaré |
| ARC-C | 60,9 % | 30ᵉ / 34 | llm-stats | Auto-déclaré |
| Aider | 55,6 % | 3ᵉ / 4 | llm-stats | Auto-déclaré |
| TruthfulQA | 50,6 % | 17ᵉ / 18 | llm-stats | Auto-déclaré |
| MATH | 46,6 % | 60ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU-Pro | 40,1 % | 123ᵉ / 125 | llm-stats | Auto-déclaré |
| TheoremQA | 34,0 % | 5ᵉ / 6 | llm-stats | Auto-déclaré |
| LiveCodeBench | 18,2 % | 65ᵉ / 72 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. Qwen2.5-Coder 7B Instruct combine un format de 7 milliards de paramètres avec une fenêtre de contexte de 131 072 tokens, caractéristique utile pour traiter de longs contenus dans une même requête. Son statut open-weights et sa licence Apache 2.0 rendent possible un usage commercial. À sa sortie, son résultat sur MATH le plaçait dans le top 78 % des 36 LLM de sa génération. Ce classement ne le situait pas parmi les meilleurs en raisonnement mathématique, mais fournit un repère concret sur son niveau dans le paysage de 2024.
Limites et points d'attention. Son ancienneté est désormais très importante pour un LLM. Ses performances sont probablement largement dépassées par celles de modèles plus récents, et les modèles de cette période sont souvent retirés du catalogue de leur éditeur. La limite de connaissances fixée au 30 juin 2024 exclut les évolutions ultérieures. Son positionnement relativement bas sur MATH dès sa sortie invite aussi à ne pas le considérer comme une référence de sa génération pour le raisonnement mathématique.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).