Mixtral 8x7B

Sorti le 11 décembre 2023, Mixtral 8x7B est un LLM français de Mistral AI comptant 47 milliards de paramètres. Âgé d’environ trois ans, il appartient déjà à une génération ancienne à l’échelle de l’IA, où les progrès rapides rendent les modèles fréquemment dépassés ou retirés des catalogues.

À sa sortie, Mixtral 8x7B se situait dans la moitié supérieure des LLM de sa génération sur GPQA diamond. Son entraînement représente 7,7 × 10²³ FLOP, soit environ 215 000 heures-GPU H100, l’équivalent d’une centaine de GPU H100 fonctionnant pendant trois mois.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Entraînement & empreinte

Notre analyse

Forces. À sa sortie, Mixtral 8x7B appartenait au top 50% des huit LLM de sa génération sur GPQA diamond, un benchmark de questions scientifiques de niveau doctorat. Ce positionnement le plaçait dans la moitié supérieure de modèles parus au cours des quelque 18 mois précédents. L’effort consacré à son entraînement était également conséquent, avec 7,7 × 10²³ FLOP pour un modèle de 47 milliards de paramètres.

Limites et points d’attention. Ses résultats apparaissent aujourd’hui largement dépassés. Mixtral 8x7B figure près du bas du classement sur GPQA diamond, avec 31%, et sur MATH level 5, avec 10%. Ces scores signalent des limites nettes sur les questions scientifiques avancées et les problèmes mathématiques difficiles. Son ancienneté d’environ trois ans est très longue à l’échelle de l’IA, et les modèles de cette période sont souvent retirés du catalogue de leur éditeur. Son entraînement reste néanmoins marquant par son ampleur, équivalente à environ 100 GPU H100 mobilisés pendant trois mois.

Sources des données : LLM-Stats (llm-stats.com) · Epoch AI (epoch.ai), CC-BY-4.0.