FrontierMath-Tier-4-v2-Private

Epoch: FrontierMath-Tier-4-v2-Private est un benchmark créé par Epoch AI pour évaluer la résolution de problèmes mathématiques originaux de très haut niveau. Il repose sur des questions ouvertes, formulées en anglais, dont les réponses sont courtes ou vérifiables.

Ce sous-ensemble privé de FrontierMath mesure un raisonnement avancé, souvent associé à des outils formels ou calculatoires. La non-divulgation des questions et des réponses en fait un test destiné à comparer les modèles d’IA de pointe sur des tâches mathématiques particulièrement exigeantes.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (18)

Classement établi sur 18 modèles évalués, dont 18 de grands éditeurs. Score médian de l'ensemble : 20,7 %.

Notre analyse

Un score élevé indique qu’un modèle résout correctement une forte proportion de problèmes mathématiques originaux et difficiles, selon la métrique d’accuracy. Les scores étant au moins partiellement mesurés par un tiers, l’évaluation ne repose pas uniquement sur des résultats auto-déclarés, ce qui renforce la valeur comparative du classement. Le caractère privé du jeu de test, avec des réponses non divulguées, limite l’exposition directe de son contenu et donc certains risques de contamination.

La médiane de 27 % parmi les 37 modèles évalués confirme le niveau d’exigence du benchmark. Le résultat de Claude Fable 5, à 88 %, révèle un écart important avec la performance médiane, tout en laissant une marge avant une saturation complète. Le classement distingue ainsi fortement les capacités de raisonnement mathématique avancé. Sa portée reste toutefois ciblée : il mesure des problèmes de mathématiques avancées en anglais, à réponse courte ou vérifiable, et ne constitue pas une mesure générale de l’ensemble des capacités d’un modèle.

Sources des scores : epoch.