Qwen3.5-4B
Qwen3.5-4B est un LLM multimodal de 4 milliards de paramètres publié par Qwen le 2 mars 2026. Son architecture hybride associe Gated Delta Networks, attention gated, FFN et encodeur visuel, avec une fusion précoce des tokens multimodaux.
Qwen3.5-4B est un LLM multimodal de 4 milliards de paramètres publié par Qwen le 2 mars 2026. Son architecture hybride associe Gated Delta Networks, attention gated, FFN et encodeur visuel, avec une fusion précoce des tokens multimodaux.
Le modèle couvre 201 langues et dialectes, avec un contexte natif de 262 144 tokens, extensible jusqu’à 1 010 000 tokens. Ses poids sont distribués sous licence Apache 2.0, qui autorise l’usage commercial, dans un format compatible avec plusieurs environnements d’inférence courants.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Alibaba Cloud / Qwen Team |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | Apache 2.0 |
| Date de sortie | 2 mars 2026 |
| Multimodal | oui |
| Paramètres | 4 milliards |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| IFEval | 89,8 % | 16ᵉ / 65 | llm-stats | Auto-déclaré |
| MMLU-Redux | 88,8 % | 28ᵉ / 48 | llm-stats | Auto-déclaré |
| C-Eval | 85,1 % | 13ᵉ / 18 | llm-stats | Auto-déclaré |
| t2-bench | 79,9 % | 12ᵉ / 23 | llm-stats | Auto-déclaré |
| MMLU-Pro | 79,1 % | 54ᵉ / 125 | llm-stats | Auto-déclaré |
| Global PIQA | 78,9 % | 11ᵉ / 13 | llm-stats | Auto-déclaré |
| MAXIFE | 78,0 % | 9ᵉ / 11 | llm-stats | Auto-déclaré |
| HMMT25 | 76,8 % | 14ᵉ / 25 | llm-stats | Auto-déclaré |
| GPQA | 76,2 % | 91ᵉ / 219 | llm-stats | Auto-déclaré |
| MMMLU | 76,1 % | 42ᵉ / 49 | llm-stats | Auto-déclaré |
| HMMT 2025 | 74,0 % | 27ᵉ / 33 | llm-stats | Auto-déclaré |
| MMLU-ProX | 71,5 % | 20ᵉ / 32 | llm-stats | Auto-déclaré |
| Include | 71,0 % | 21ᵉ / 31 | llm-stats | Auto-déclaré |
| WMT24++ | 66,6 % | 13ᵉ / 23 | llm-stats | Auto-déclaré |
| IFBench | 59,2 % | 23ᵉ / 27 | llm-stats | Auto-déclaré |
| AA-LCR | 57,0 % | 13ᵉ / 15 | llm-stats | Auto-déclaré |
| LiveCodeBench v6 | 55,8 % | 40ᵉ / 53 | llm-stats | Auto-déclaré |
| NOVA-63 | 54,3 % | 9ᵉ / 11 | llm-stats | Auto-déclaré |
| SuperGPQA | 52,9 % | 26ᵉ / 34 | llm-stats | Auto-déclaré |
| PolyMATH | 51,1 % | 13ᵉ / 23 | llm-stats | Auto-déclaré |
| BFCL-V4 | 50,3 % | 11ᵉ / 13 | llm-stats | Auto-déclaré |
| LongBench v2 | 50,0 % | 12ᵉ / 15 | llm-stats | Auto-déclaré |
| Multi-Challenge | 49,0 % | 17ᵉ / 28 | llm-stats | Auto-déclaré |
| VITA-Bench | 22,0 % | 10ᵉ / 10 | llm-stats | Auto-déclaré |
| DeepPlanning | 17,6 % | 9ᵉ / 9 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, Qwen3.5-4B se classait dans les 40 % les mieux placés parmi les LLM de sa génération sur GPQA, un benchmark centré sur des questions scientifiques complexes. Ce résultat situe favorablement un modèle de 4 milliards de paramètres, sans le placer parmi les références dominantes. Son principal intérêt technique réside dans la combinaison d’un modèle causal de langage et d’un encodeur visuel, soutenue par une architecture hybride et un entraînement MTP multi-étapes. La prise en charge de 201 langues et dialectes ainsi que la très longue fenêtre de contexte élargissent son champ d’utilisation. Les artefacts sont compatibles avec Transformers, vLLM, SGLang et KTransformers.
Limites et points d'attention. Son classement sur GPQA reste en dehors du groupe de tête de sa génération, ce qui invite à ne pas l’assimiler aux modèles haut de gamme pour le raisonnement scientifique. Le positionnement chiffré repose sur une seule source de données concordante. Par ailleurs, la limite de 1 010 000 tokens correspond à une extension, tandis que le contexte natif s’établit à 262 144 tokens. Qwen3.5-4B cible surtout les usages multilingues, multimodaux et à long contexte recherchant des poids ouverts avec usage commercial autorisé.
Sources des données : LLM-Stats (llm-stats.com).