Chess Puzzles

Epoch: Chess Puzzles est un benchmark conçu par Epoch AI pour évaluer le raisonnement spatial et la planification à travers des positions d’échecs. Chaque puzzle demande de sélectionner le meilleur coup, avec une solution unique validée par le moteur Stockfish.

Généré programmatiquement, cet ensemble sert de test léger pour obtenir rapidement une estimation des capacités de raisonnement des modèles. Il contribue notamment à l’Epoch Capabilities Index, en apportant une mesure ciblée et indépendante du langage naturel.

Carte d'identité

Classement des modèles (20)

Classement établi sur 20 modèles évalués, dont 17 de grands éditeurs. Score médian de l'ensemble : 24,5 %.

Notre analyse

Un score élevé indique qu’un modèle identifie fréquemment le meilleur coup dans des positions exigeant raisonnement spatial et planification. La validation des solutions par Stockfish et l’existence d’un meilleur coup unique renforcent la cohérence de la correction. Les résultats de la base sont au moins partiellement mesurés par un tiers, ce qui leur confère davantage de poids qu’une évaluation reposant uniquement sur des scores auto-déclarés.

La portée reste toutefois ciblée : ces puzzles évaluent la sélection d’un coup d’échecs, et non l’ensemble des formes de raisonnement. Avec 100 positions et un usage pensé comme test léger, le benchmark fournit surtout un signal rapide. Son accès public peut aussi accroître le risque d’exposition préalable des modèles aux contenus évalués. Le meilleur résultat, obtenu par GPT-5.5 Pro avec 64 %, reste nettement inférieur à un score parfait, ce qui ne suggère pas une saturation générale. L’écart avec la médiane de 22 % révèle par ailleurs une forte différenciation entre les 49 modèles évalués, les meilleurs systèmes réussissant bien davantage de positions sans pour autant résoudre systématiquement le jeu.

Sources des scores : epoch.