ARC-AGI v2

ARC-AGI v2 est un benchmark de raisonnement abstrait créé en 2025 par l’ARC Prize Foundation, notamment François Chollet, Mike Knoop et Gregory Kamradt. Il repose sur des grilles visuelles colorées dont il faut déduire la règle de transformation à partir de quelques paires entrée-sortie.

Conçu pour évaluer l’intelligence fluide, il teste la capacité à généraliser face à des problèmes inédits. Il cible notamment le raisonnement spatial, la reconnaissance de motifs et la généralisation compositionnelle, sans dépendre du langage.

Carte d'identité

Classement des modèles (16)

Classement établi sur 16 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 47,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ARC-AGI v2 signifie qu’un modèle parvient fréquemment à produire une grille entièrement exacte pour toutes les entrées de test, avec au plus deux essais. Cette exigence stricte valorise l’identification de règles, leur composition et leur application précise, plutôt qu’une réponse partiellement correcte. Dans la base, l’écart entre le score médian de 48 % et les 85 % de GPT-5.5 montre une forte différenciation entre modèles. Le meilleur résultat restant inférieur à un score parfait, le benchmark ne paraît pas saturé dans cet ensemble. L’interprétation du classement demande toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon un protocole indépendant unique. L’évaluation publique peut aussi être exposée à un risque de contamination, tandis que l’ensemble privé contribue à contrôler ce risque. Enfin, ARC-AGI v2 mesure une portée cognitive ciblée, le raisonnement abstrait sur grilles visuelles. Ses résultats ne résument donc pas l’ensemble des capacités générales, linguistiques ou spécialisées d’un modèle.

Sources des scores : llm-stats.