Mathematics (Baseline)

Benchable : Mathematics (Baseline) est un benchmark public créé par Benchable pour évaluer les compétences mathématiques des modèles d’intelligence artificielle. Il couvre un spectre allant de l’arithmétique élémentaire au calcul, à l’algèbre linéaire, à la topologie et à la géométrie algébrique.

Son corpus en anglais comprend également des problèmes inédits de niveau doctoral. Présentées sous forme de QCM à six options, les réponses sont validées par correspondance exacte de la lettre attendue. Le benchmark fournit ainsi une mesure standardisée de la capacité à sélectionner une réponse correcte dans des domaines mathématiques variés.

Carte d'identité

Classement des modèles (141)

Classement établi sur 141 modèles évalués, dont 64 de grands éditeurs. Score médian de l'ensemble : 91,7 %.

Notre analyse

Un score élevé indique une forte aptitude à identifier la bonne option parmi six réponses sur ce corpus, dans des disciplines et à des niveaux de difficulté très variés. La validation par Exact Match impose une sortie strictement conforme, mais elle mesure la lettre finale plutôt que la qualité du raisonnement. La fiabilité est renforcée par des scores au moins partiellement mesurés par un tiers, ce qui apporte davantage de rigueur qu’un ensemble reposant uniquement sur des résultats auto-déclarés.

Avec une médiane de 92 % parmi 225 modèles et un meilleur score de 100 % obtenu par Qwen3 VL 32B Instruct, le classement montre un niveau global très élevé. Cette concentration près du maximum signale une saturation partielle et réduit le pouvoir de discrimination entre les modèles les plus performants. Le caractère public du benchmark implique aussi un risque d’exposition préalable aux questions, donc de contamination. Enfin, ses 100 QCM évaluent une portée mathématique large, mais restent centrés sur la sélection d’une réponse en anglais, sans évaluation directe d’une démonstration ou d’un raisonnement développé.

Sources des scores : benchable.