QwQ-32B-Preview
Publié par Qwen le 28 novembre 2024, QwQ-32B-Preview est un LLM causal expérimental consacré au raisonnement. Âgé d’environ deux ans, il appartient déjà à une génération ancienne à l’échelle de l’IA et doit être replacé dans le contexte des modèles disponibles lors de sa sortie.
Publié par Qwen le 28 novembre 2024, QwQ-32B-Preview est un LLM causal expérimental consacré au raisonnement. Âgé d’environ deux ans, il appartient déjà à une génération ancienne à l’échelle de l’IA et doit être replacé dans le contexte des modèles disponibles lors de sa sortie.
Ses 32 milliards de paramètres et sa fenêtre de contexte de 32 768 tokens reposent sur une architecture Transformer intégrant RoPE, SwiGLU, RMSNorm et des biais Attention QKV. Distribué en open weights sous licence Apache 2.0, avec usage commercial autorisé, il combine préentraînement et post-entraînement.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Alibaba Cloud / Qwen Team |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | Apache 2.0 |
| Date de sortie | 28 novembre 2024 |
| Connaissances jusqu'à | 2024-11-28 |
| Multimodal | non |
| Paramètres | 32 milliards |
| Fenêtre de contexte | 32 768 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| MATH-500 | 90,6 % | 24ᵉ / 31 | llm-stats | Auto-déclaré |
| GPQA | 65,2 % | 136ᵉ / 219 | llm-stats | Auto-déclaré |
| AIME 2024 | 50,0 % | 45ᵉ / 52 | llm-stats | Auto-déclaré |
| LiveCodeBench | 50,0 % | 44ᵉ / 72 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, QwQ-32B-Preview se classait dans le top 16% des 43 LLM de sa génération sur GPQA, un benchmark consacré aux questions scientifiques difficiles. Ce résultat le plaçait dans le haut du panier de son époque pour le raisonnement évalué par ce test. Le modèle est particulièrement orienté vers les mathématiques et le code. Son format open weights et sa licence Apache 2.0 autorisent en outre le déploiement, la modification et les usages commerciaux. L’intégration présentée repose sur Hugging Face Transformers, avec apply_chat_template pour charger le tokenizer et le modèle, puis générer du contenu.
Limites et points d'attention. Son statut « Preview » correspond à un modèle expérimental de recherche, et son ancienneté est très importante dans un secteur qui évolue rapidement. Ses performances sont aujourd’hui probablement largement dépassées, tandis que les modèles de cette période sont souvent retirés des catalogues des éditeurs. QwQ-32B-Preview peut mélanger plusieurs langues dans une même réponse et s’enfermer dans des boucles de raisonnement récursives. Son utilisation exige également des mesures de sécurité renforcées, ce qui limite son intérêt pour un déploiement direct sans contrôles supplémentaires.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).