MGSM

MGSM est un benchmark de raisonnement mathématique multilingue créé par Google Research et F. Shi et al. Il rassemble des problèmes de niveau école primaire issus de GSM8K, puis traduits manuellement dans plusieurs langues typologiquement diverses.

Les modèles doivent produire une réponse numérique courte à des questions ouvertes mobilisant le raisonnement arithmétique. MGSM sert ainsi à comparer leur capacité à résoudre un même type de problème dans différents contextes linguistiques, au-delà d’une évaluation limitée à une seule langue.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (30)

Classement établi sur 30 modèles évalués, dont 29 de grands éditeurs. Score médian de l'ensemble : 83,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MGSM indique qu’un modèle fournit fréquemment la réponse numérique exacte à des problèmes arithmétiques scolaires dans les langues couvertes. L’exact match mesure strictement la justesse de la réponse finale, sans évaluer séparément la qualité du raisonnement produit. La médiane de 84 % parmi les 30 modèles suivis, face aux 92 % de Llama 4 Maverick, montre un niveau général déjà élevé et un écart limité en tête. Cette concentration peut réduire le pouvoir discriminant du benchmark à mesure que les performances progressent. La comparaison doit aussi rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune. L’accès public et la filiation avec GSM8K créent également un risque d’exposition préalable aux items, susceptible d’affecter l’interprétation des résultats. Enfin, la portée demeure ciblée sur des problèmes de mathématiques de niveau primaire, traduits dans dix langues, avec des réponses numériques courtes. Le classement renseigne donc sur ce cadre précis, et non sur l’ensemble des aptitudes mathématiques ou multilingues.

Sources des scores : llm-stats.