ARC-C

ARC-C est un benchmark de questions scientifiques à choix multiples de niveau scolaire, créé en 2018 par AI2 (Allen Institute for AI), Peter Clark et ses coauteurs. Il constitue la partie difficile de l’AI2 Reasoning Challenge.

Les questions retenues ont mis en échec des algorithmes fondés sur la recherche d’information et la cooccurrence de mots. ARC-C sert ainsi à évaluer le raisonnement scientifique, le bon sens et la capacité des modèles à résoudre des questions exigeant davantage qu’une simple association lexicale.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (34)

Classement établi sur 34 modèles évalués, dont 22 de grands éditeurs. Score médian de l'ensemble : 75,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ARC-C indique qu’un modèle répond correctement à une forte proportion de QCM scientifiques difficiles et mobilise efficacement raisonnement scolaire et connaissances de bon sens. Dans la base, la médiane de 75 % et le résultat de 97 % obtenu par MiMo-V2.5-Pro montrent un niveau globalement élevé, avec un écart encore visible entre le centre du classement et son sommet. La proximité du meilleur score avec le maximum suggère toutefois une saturation progressive, susceptible de réduire le pouvoir discriminant du benchmark parmi les systèmes les plus performants.

L’interprétation du classement exige aussi de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une évaluation indépendante uniforme. L’accès public au jeu impose également de considérer un risque d’exposition préalable aux questions. Enfin, ARC-C porte uniquement sur des QCM en anglais, centrés sur les sciences de niveau scolaire et le raisonnement de bon sens. Il éclaire donc une capacité ciblée, sans résumer à lui seul les performances générales d’un modèle.

Sources des scores : llm-stats.