OTIS Mock AIME 2024-2025

Epoch: OTIS Mock AIME 2024-2025 est un benchmark créé par Epoch AI pour évaluer la résolution de problèmes mathématiques de niveau compétition, dans un registre intermédiaire à avancé. Il rassemble des exercices inspirés du format AIME, avec des réponses entières comprises entre 0 et 999.

Plus exigeant que MATH niveau 5, mais moins difficile que FrontierMath, il sert à différencier les capacités de raisonnement mathématique des modèles sur des problèmes structurés. La performance est déterminée par l’exactitude des réponses produites.

Carte d'identité

Classement des modèles (64)

Classement établi sur 64 modèles évalués, dont 57 de grands éditeurs. Score médian de l'ensemble : 38,1 %.

Notre analyse

Un score élevé indique qu’un modèle résout correctement une large part de ces problèmes de compétition et fournit précisément l’entier attendu. La fiabilité du classement est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, plutôt que de reposer exclusivement sur des résultats auto-déclarés. Avec 116 modèles évalués et un score médian de 68 %, le benchmark fait apparaître des écarts substantiels de maîtrise. GPT-5.5 atteint toutefois 100 %, ce qui signale une saturation au sommet pour ce modèle et réduit la capacité du jeu à départager les systèmes les plus performants. Le caractère public du benchmark peut aussi accroître le risque de contamination lors de l’entraînement ou de l’évaluation. Sa portée reste circonscrite à 45 problèmes en anglais, au format AIME et à réponse entière. Le classement renseigne donc spécifiquement sur la résolution de ce type de problèmes mathématiques, sans constituer une mesure générale de l’ensemble des capacités d’un modèle.

Sources des scores : epoch.