Magistral Small 1.1

Magistral Small 1.1 est un LLM de Mistral AI, sorti le 10 juin 2025. Son ancienneté d’environ un an est déjà très importante à l’échelle de l’IA : il appartient à une génération désormais probablement dépassée, dont les modèles sont souvent retirés des catalogues.

À son lancement, il se situait dans la partie haute de sa génération sur les questions scientifiques de niveau doctorat. Sa fiche révèle toutefois un profil inégal : des résultats honorables sur GPQA, plus modestes en olympiades de mathématiques et sans réussite mesurable sur les problèmes de recherche les plus difficiles.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. À sa sortie, Magistral Small 1.1 figurait dans le top 39% des 54 LLM de sa génération sur GPQA diamond, consacré aux questions scientifiques de niveau doctorat. Son score de 48% montre qu’il pouvait traiter une part significative de ces problèmes exigeants. Cette performance constituait son principal point fort parmi les évaluations disponibles et le plaçait dans la partie haute des modèles contemporains, sans atteindre le groupe de tête.

Limites et points d'attention. Dans le classement élargi de GPQA diamond, Magistral Small 1.1 occupe désormais le milieu de tableau. Il se montre plus en retrait sur OTIS Mock AIME 2024-2025, qui évalue les mathématiques de niveau olympiade au lycée, avec 30% et une place dans la seconde moitié du classement. Sur FrontierMath, consacré aux mathématiques de recherche très difficiles, son score est nul. Il partage la 17e place avec 16 autres modèles sur ce benchmark plafonné, donc peu discriminant à ce niveau. Après environ un an, ses performances sont largement dépassées à l’échelle de l’IA, et les modèles de cette ancienneté sont souvent retirés du catalogue de leur éditeur.

Sources des données : LLM-Stats (llm-stats.com) · Epoch AI (epoch.ai), CC-BY-4.0.