FrontierMath-2025-02-28-Private

Epoch: FrontierMath-2025-02-28-Private est un snapshot du jeu privé FrontierMath créé par Epoch AI. Il rassemble des problèmes mathématiques originaux et extrêmement difficiles, conçus et vérifiés par des mathématiciens experts, dans des domaines comme la théorie des nombres, l’analyse réelle, la géométrie algébrique et la théorie des catégories.

Le benchmark mesure la capacité des modèles à résoudre des problèmes de niveau recherche produisant une réponse numérique ou symbolique, soumise sous forme d’objet Python. Son exactitude binaire en fait un test direct du raisonnement mathématique avancé.

Carte d'identité

Classement des modèles (32)

Classement établi sur 32 modèles évalués, dont 28 de grands éditeurs. Score médian de l'ensemble : 8,8 %.

Notre analyse

Un score élevé indique qu’un modèle résout correctement une part importante de problèmes de niveau recherche, selon un verdict strict de réussite ou d’échec pour chaque exercice. Cette métrique réduit l’ambiguïté du résultat, tandis que la conception et la vérification par des mathématiciens experts renforcent la rigueur du jeu. Les scores sont au moins partiellement mesurés par un tiers, ce qui leur confère une assise plus indépendante que des résultats uniquement auto-déclarés.

Le caractère privé du test, la non-divulgation des réponses et la vérification automatisée visent à limiter la contamination. Celle-ci ne peut toutefois être présentée comme totalement éliminée. Le classement de 69 modèles montre une forte difficulté persistante : avec une médiane à 14 % et GPT-5.5 Pro en tête à 52 %, le benchmark reste loin d’une saturation générale. L’écart entre le meilleur résultat et le niveau médian révèle une différenciation nette des capacités. Sa portée demeure spécialisée : il évalue le raisonnement mathématique avancé dans les domaines couverts, plutôt que les performances générales des modèles.

Sources des scores : epoch.