GSM8k

GSM8k est un benchmark créé par OpenAI, sous la direction de Karl Cobbe et de ses coauteurs. Il rassemble des problèmes de mathématiques rédigés en anglais, formulés en langage naturel et inspirés du niveau de l’école primaire.

Son objectif est de mesurer la capacité des modèles à enchaîner plusieurs étapes de raisonnement et à effectuer des opérations arithmétiques élémentaires pour produire une réponse courte. GSM8k sert ainsi à comparer leur aptitude à résoudre correctement des problèmes mathématiques structurés, au-delà de la simple restitution d’un résultat.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (47)

Classement établi sur 47 modèles évalués, dont 27 de grands éditeurs. Score médian de l'ensemble : 91,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur GSM8k indique qu’un modèle fournit fréquemment la réponse finale exacte à des problèmes exigeant plusieurs étapes de raisonnement arithmétique. La métrique exact match reste stricte sur le résultat final, mais elle ne mesure pas directement la qualité ou la validité des étapes intermédiaires. La fiabilité comparative doit aussi être nuancée, car les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans un cadre de mesure unique.

Le score médian de 91 % parmi les 47 modèles évalués et le résultat de 100 % obtenu par MiMo-V2.5-Pro signalent une forte saturation du benchmark au sommet du classement. Les écarts restants deviennent donc peu discriminants. Son accès public peut également exposer l’évaluation à un risque de contamination des données d’entraînement, ce qui impose de la prudence dans l’interprétation. Enfin, sa portée demeure ciblée sur des problèmes scolaires en anglais, avec des opérations élémentaires et des réponses courtes. Le classement révèle ainsi une maîtrise très élevée de cette tâche précise, sans constituer une mesure générale des capacités mathématiques ou du raisonnement d’un modèle.

Sources des scores : llm-stats.