Qwen2-72B

Qwen2-72B est un LLM chinois de 73 milliards de paramètres, publié par Qwen le 7 juin 2024. Près de deux ans plus tard, il appartient déjà à une génération ancienne à l’échelle de l’IA, où les progrès rapides rendent les modèles fréquemment dépassés ou retirés des catalogues.

Son entraînement reste marquant par son ampleur : 3,0 × 10²⁴ FLOP, soit environ 839 000 heures-GPU H100. Cette charge correspond à près de 390 GPU H100 fonctionnant sans interruption pendant trois mois.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Entraînement & empreinte

Notre analyse

Forces. À sa sortie, Qwen2-72B se classait dans le top 22% des LLM de sa génération sur GPQA diamond, un benchmark de questions scientifiques de niveau doctorat. Ce résultat le plaçait dans le haut du panier de sa période pour ce type de raisonnement exigeant. Son score sur MATH level 5 confirmait aussi une capacité mesurable à traiter des problèmes mathématiques difficiles, même sans atteindre les meilleurs résultats de l’échantillon évalué. Ce profil reposait sur un modèle de grande taille et sur un effort d’entraînement considérable.

Limites et points d’attention. Dans les classements plus larges, Qwen2-72B se situe désormais dans le bas du tableau sur GPQA diamond et dans la moitié inférieure sur MATH level 5. Ses performances sont aujourd’hui largement dépassées par celles de modèles plus récents. Près de deux ans représentent une ancienneté très importante dans ce secteur, et les modèles de cette génération sont souvent retirés du catalogue de leur éditeur. Qwen2-72B conserve surtout un intérêt historique : il illustre le niveau atteint mi-2024 au prix d’environ 839 000 heures-GPU H100, l’équivalent de 390 GPU H100 mobilisés pendant trois mois.

Sources des données : LLM-Stats (llm-stats.com) · Epoch AI (epoch.ai), CC-BY-4.0.