FrontierMath-Tier-4-2025-07-01-Private

Epoch: FrontierMath-Tier-4-2025-07-01-Private est une variante privée de niveau 4 de FrontierMath, un benchmark créé par Epoch AI. Il réunit des problèmes mathématiques originaux, conçus par des experts et destinés aux modèles de pointe.

Ces questions ouvertes, à réponse courte et vérifiable, évaluent la capacité à mener un raisonnement mathématique avancé, souvent de niveau recherche. Le benchmark sert ainsi à différencier les modèles sur des tâches particulièrement exigeantes, sans divulgation publique des questions ni des réponses.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (25)

Classement établi sur 25 modèles évalués, dont 22 de grands éditeurs. Score médian de l'ensemble : 4,2 %.

Notre analyse

Un score élevé indique qu’un modèle résout correctement une part importante de problèmes mathématiques inédits et très difficiles. L’accuracy mesure directement la proportion de réponses exactes. La fiabilité du classement est renforcée par le fait que les scores sont, au moins en partie, mesurés par un tiers plutôt que seulement auto-déclarés.

Les résultats montrent une forte difficulté globale. Parmi les 55 modèles évalués, le score médian atteint 4 %, tandis que AI co-mathematician (Google) domine avec 48 %. Cet écart révèle une différenciation marquée entre le meilleur système et le niveau central de l’ensemble. Le meilleur résultat restant inférieur à la moitié des problèmes, le benchmark ne présente pas de saturation apparente dans cette base.

Le caractère privé des questions et la non-divulgation des réponses limitent leur exposition publique, ce qui contribue à réduire les risques de contamination. La portée reste toutefois ciblée sur des problèmes mathématiques en anglais, ouverts, courts et vérifiables. Le classement renseigne donc sur le raisonnement mathématique avancé dans ce cadre précis, et non sur les capacités générales des modèles.

Sources des scores : epoch.