FrontierMath-Tier-4-2025-07-01-Public

Epoch: FrontierMath-Tier-4-2025-07-01-Public est un sous-ensemble public du niveau le plus difficile de FrontierMath, créé par Epoch AI. Il rassemble des problèmes mathématiques de niveau recherche extrême, conçus comme des projets de recherche à court terme par des professeurs et des post-doctorants.

Le benchmark évalue la capacité des modèles à résoudre des problèmes ouverts produisant une réponse numérique ou symbolique, soumise sous forme d’objet Python. Il sert à distinguer les systèmes capables de mener un raisonnement mathématique avancé sur des tâches dont certaines pourraient résister à l’IA pendant des décennies.

Carte d'identité

Classement des modèles (15)

Classement établi sur 15 modèles évalués, dont 14 de grands éditeurs. Score médian de l'ensemble : 0,0 %.

Notre analyse

Un score élevé indique qu’un modèle fournit exactement la réponse attendue sur une forte proportion de ces problèmes de recherche. L’exactitude étant binaire, une solution n’est comptabilisée que comme résolue ou non résolue. Les scores sont au moins partiellement mesurés par un tiers, ce qui apporte un contrôle externe au-delà d’une évaluation entièrement auto-déclarée.

Le classement révèle une distribution très polarisée : Claude Fable 5 atteint 100 %, tandis que le score médian des 36 modèles évalués reste à 0 %. Le plafond est donc atteint par le meilleur modèle, mais cette réussite ne traduit pas une saturation générale du benchmark. La portée des conclusions demeure liée à un Tier 4 d’environ 50 problèmes et à un sous-ensemble public restreint, dont seuls quelques exemples ont été rendus publics. Ce caractère public doit aussi être pris en compte dans l’interprétation d’un éventuel risque de contamination. Enfin, le résultat mesure spécifiquement la résolution exacte de problèmes mathématiques extrêmes en anglais, plutôt qu’une capacité générale sur l’ensemble des usages de l’IA.

Sources des scores : epoch.