AIME 2024

AIME 2024 est un benchmark issu de l’American Invitational Mathematics Examination, créé par la Mathematical Association of America dans le cadre des American Mathematics Competitions. Il réunit des problèmes exigeants provenant des compétitions AIME I et AIME II.

Le benchmark évalue le raisonnement mathématique avancé de niveau olympiade en algèbre, géométrie, combinatoire et théorie des nombres. Ses questions ouvertes imposent une réponse entière exacte, ce qui en fait un outil d’évaluation des capacités de résolution des grands modèles de langage.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (52)

Classement établi sur 52 modèles évalués, dont 35 de grands éditeurs. Score médian de l'ensemble : 80,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur AIME 2024 indique qu’un modèle résout correctement une forte proportion de problèmes mathématiques avancés et produit précisément l’entier attendu. L’exact match impose une validation stricte du résultat final, sans crédit partiel pour une démarche pertinente mais inaboutie. La comparaison doit toutefois rester prudente, car les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune.

Le niveau médian de 80 % parmi les 52 modèles évalués, ainsi que le score de 96 % obtenu par Grok-3 Mini, signalent une forte concentration des performances vers le haut. Cette proximité avec le maximum réduit progressivement la capacité du benchmark à départager les meilleurs modèles. Son accès public crée aussi une possibilité de contamination des évaluations. Enfin, sa portée demeure ciblée sur 30 problèmes en anglais, à réponse entière courte, dans quatre domaines mathématiques. Le classement révèle donc surtout la maîtrise de ce format olympiade précis, et non une capacité générale couvrant toutes les formes de raisonnement mathématique.

Sources des scores : llm-stats.