Reasoning (Baseline)

Benchable : Reasoning (Baseline) est un benchmark public créé par Benchable pour évaluer le raisonnement complexe des modèles d’intelligence artificielle. Il s’appuie sur des questions ouvertes couvrant notamment la logique, la reconnaissance de motifs, l’inférence déductive, le raisonnement mathématique et la résolution abstraite.

Ses tâches prennent la forme d’énigmes logiques, de suites, de cryptarithmes, de problèmes spatiaux et d’exercices de déduction. Le benchmark sert ainsi de référence de base pour comparer la capacité des modèles à produire une solution logique précise plutôt qu’une simple réponse à choix multiple.

Carte d'identité

Classement des modèles (156)

Classement établi sur 156 modèles évalués, dont 63 de grands éditeurs. Score médian de l'ensemble : 78,0 %.

Notre analyse

Un score élevé indique qu’un modèle résout correctement une grande proportion de ces tâches ouvertes et restitue la réponse attendue avec une équivalence sémantique suffisante. La validation est contrôlée par une IA sur le champ JSON Path $.answer, ce qui permet de reconnaître des formulations équivalentes sans imposer une correspondance textuelle stricte. Les scores sont au moins partiellement mesurés par un tiers, leur portée ne repose donc pas uniquement sur des résultats auto-déclarés.

Le niveau médian de 80 % parmi 246 modèles montre que l’ensemble est déjà bien maîtrisé par une part importante du classement. Le score de 100 % obtenu par AionLabs: Aion-2.0 signale une saturation au sommet, où ce benchmark ne distingue plus les modèles ayant résolu toutes les questions. Son format limité à 50 tâches en anglais circonscrit aussi l’interprétation aux formes de raisonnement représentées. Enfin, son accès public crée un risque de contamination lors de l’entraînement ou de l’évaluation. Le classement révèle donc surtout des écarts sur ce socle ciblé de logique et de résolution abstraite.

Sources des scores : benchable.