ARC-AGI

ARC-AGI est un benchmark de raisonnement abstrait créé par François Chollet en 2019. Il repose sur des tâches visuelles dans lesquelles quelques paires de grilles illustrent une transformation gouvernée par une règle implicite.

Les modèles doivent inférer cette règle à partir de très peu d’exemples, puis l’appliquer exactement à de nouvelles grilles. ARC-AGI évalue ainsi l’acquisition rapide de compétences et le raisonnement abstrait avec un minimum de connaissances préalables, plutôt que la compréhension du langage naturel.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (7)

Classement établi sur 7 modèles évalués, dont 5 de grands éditeurs. Score médian de l'ensemble : 88,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ARC-AGI indique qu’un modèle parvient fréquemment à identifier les règles abstraites sous-jacentes et à produire exactement les grilles attendues. L’exact match impose une évaluation stricte, puisqu’une sortie doit correspondre entièrement à la solution. Le test privé, dont les réponses ne sont pas divulguées, contribue à limiter l’accès direct aux solutions. La fiabilité comparative reste toutefois à considérer avec prudence, car les scores de la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant commun.

Avec une médiane de 88 % parmi sept modèles et un meilleur résultat de 95 % pour GPT-5.5, le classement montre des performances élevées et relativement proches du plafond. Cette concentration réduit la capacité du benchmark à départager finement les meilleurs modèles et signale un risque de saturation. Une contamination par les quelque 800 tâches publiques demeure une limite potentielle, même si l’évaluation finale utilise un ensemble privé. Enfin, ARC-AGI mesure un périmètre ciblé, celui des transformations spatiales de grilles colorées, et non l’ensemble des capacités associées à l’intelligence générale.

Sources des scores : llm-stats.