FrontierMath-2025-02-28-Public

Epoch: FrontierMath-2025-02-28-Public est un sous-ensemble public de FrontierMath, créé par Epoch AI. Il rassemble quelques problèmes ouverts en anglais, présentés sous forme d’objets Python, afin d’illustrer et de tester le raisonnement mathématique avancé de niveau recherche.

Ce benchmark sert à comparer la capacité des modèles à produire une réponse numérique ou symbolique exacte dans les mêmes domaines que FrontierMath. Il offre ainsi un aperçu public d’une évaluation dont l’essentiel reste privé, avec un verdict binaire pour chaque problème.

Carte d'identité

Classement des modèles (33)

Classement établi sur 33 modèles évalués, dont 28 de grands éditeurs. Score médian de l'ensemble : 0,0 %.

Notre analyse

Un score élevé indique qu’un modèle résout exactement une grande proportion de ces problèmes de mathématiques avancées. La notation binaire impose une exigence stricte : chaque réponse est considérée comme correcte ou incorrecte, sans crédit partiel. La fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, plutôt que seulement auto-déclarés.

La portée reste toutefois limitée par la petite taille de l’échantillon public, qui ne représente que les quelques exemples publiés de FrontierMath. Un résultat peut donc varier fortement à la suite d’un seul problème réussi ou manqué. Le caractère public des questions crée aussi un risque de contamination, puisque ces exemples peuvent être intégrés aux données ou aux procédures d’entraînement. La présence d’un score parfait signale en outre une saturation au sommet sur ce sous-ensemble, sans signifier que le benchmark privé complet est saturé. Le classement met en évidence un fort contraste entre Claude Fable 5, qui résout tous les problèmes, et une médiane de 10 % parmi les 64 modèles évalués, révélant une difficulté encore marquée pour la majorité des systèmes.

Sources des scores : epoch.