Qwen1.5-32B

Qwen1.5-32B est un LLM publié par Qwen le 3 avril 2024. Âgé d’environ deux ans, il appartient déjà à une génération ancienne à l’échelle de l’IA, où les performances et les catalogues évoluent rapidement.

Son intérêt est désormais surtout historique. Qwen1.5-32B illustre le niveau atteint par un modèle de sa période sur des questions scientifiques complexes, avec un positionnement qui était déjà modeste au sein de sa génération. Son évaluation repose sur deux sources de données concordantes.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. À sa sortie, Qwen1.5-32B figurait dans les 69% les mieux classés parmi 26 LLM de sa génération, définie ici comme les modèles publiés durant les 18 mois précédents. Sur GPQA diamond (questions scientifiques de niveau doctorat), il répondait correctement à près d’un tiers des questions. Ce résultat montre une capacité mesurable à traiter une partie de problèmes scientifiques particulièrement exigeants, sans placer le modèle dans le haut du classement de son époque.

Limites et points d’attention. Qwen1.5-32B se situe aujourd’hui près du bas du classement GPQA diamond, au 123e rang sur 137 modèles. Cette position indique des performances largement dépassées dans cette évaluation. Son ancienneté d’environ deux ans est très importante à l’échelle de l’IA et réduit sa pertinence face aux générations plus récentes. Un modèle de cet âge est également susceptible d’avoir été retiré du catalogue de son éditeur, une situation fréquente pour les anciennes versions.

Sources des données : LLM-Stats (llm-stats.com) · Epoch AI (epoch.ai), CC-BY-4.0.