FrontierMath-Tiers-1-3-v2-Private

Epoch: FrontierMath-Tiers-1-3-v2-Private est un benchmark créé par Epoch AI pour évaluer le raisonnement mathématique avancé, depuis le niveau du premier cycle universitaire jusqu’à des problèmes exploratoires de niveau doctoral.

Il repose sur des problèmes de recherche en anglais exigeant une réponse exacte, numérique ou symbolique. Son évaluation binaire distingue strictement les réponses correctes des réponses incorrectes. Cet ensemble privé et tenu à l’écart sert ainsi à comparer la capacité des modèles à résoudre rigoureusement des questions mathématiques complexes.

Carte d'identité

Classement des modèles (17)

Classement établi sur 17 modèles évalués, dont 17 de grands éditeurs. Score médian de l'ensemble : 55,4 %.

Notre analyse

Un score élevé indique qu’un modèle fournit fréquemment la réponse exacte attendue sur ces problèmes, sans crédit partiel pour une démarche incomplète. Cette règle rend l’évaluation stricte, mais réduit la performance à la correction finale. Les scores sont au moins partiellement mesurés par un tiers, ce qui apporte davantage d’indépendance qu’un classement reposant uniquement sur des résultats auto-déclarés.

Le caractère privé du jeu de test et la non-divulgation des réponses limitent les possibilités de contamination directe. Ils ne permettent toutefois pas d’en déduire une absence absolue de contamination. La portée reste ciblée sur le raisonnement mathématique avancé en anglais et sur des réponses exactes, sans représenter l’ensemble des capacités d’un modèle. Avec une médiane de 58 % parmi les 36 modèles évalués et un meilleur résultat de 89 % pour GPT-5.6 Sol, le classement montre une forte marge entre la performance centrale et la tête. L’écart restant jusqu’au score maximal indique aussi que le benchmark n’est pas saturé par son meilleur modèle.

Sources des scores : epoch.