FrontierMath

FrontierMath est un benchmark créé en 2024 par Epoch AI pour évaluer le raisonnement mathématique avancé des modèles d’intelligence artificielle. Il réunit des problèmes originaux, particulièrement difficiles, conçus et vérifiés par des mathématiciens experts.

Ses questions ouvertes couvrent de nombreuses branches des mathématiques modernes, de la théorie des nombres et de l’analyse réelle à la géométrie algébrique et à la théorie des catégories. Les réponses, courtes ou vérifiables, permettent de comparer la capacité des modèles à résoudre des problèmes exigeants au-delà des évaluations mathématiques courantes.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (16)

Classement établi sur 16 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 26,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur FrontierMath indique qu’un modèle résout correctement une part importante de problèmes mathématiques originaux et très difficiles, selon une métrique d’accuracy. Le meilleur résultat observé, 48 % pour GPT-5.4, reste inférieur à la moitié du jeu, tandis que la médiane des 13 modèles évalués atteint 26 %. Cet écart révèle une différenciation nette entre les modèles et montre que le benchmark n’est pas saturé par les résultats recensés. L’interprétation du classement exige toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune. Le caractère privé du jeu de test et la non-divulgation des réponses limitent l’exposition directe des solutions, ce qui contribue à réduire le risque de contamination. La portée reste ciblée sur le raisonnement mathématique avancé, à travers des réponses courtes ou vérifiables formulées en anglais. FrontierMath renseigne donc sur cette compétence spécialisée, sans constituer une mesure générale de l’ensemble des capacités d’un modèle.

Sources des scores : llm-stats.