CharXiv-R

CharXiv-R est le volet consacré au raisonnement du benchmark CharXiv, créé en 2024 par Zirui Wang, Danqi Chen, Sanjeev Arora et d’autres chercheurs de Princeton University. Il repose sur des graphiques scientifiques réels issus d’articles arXiv et sur des questions ouvertes en anglais.

Le benchmark mesure la capacité des modèles multimodaux à comprendre des graphiques complexes et à synthétiser des informations réparties entre plusieurs éléments visuels. Il sert ainsi à comparer leur aptitude au raisonnement scientifique visuel, au-delà de la simple reconnaissance d’objets ou de textes.

Carte d'identité

Classement des modèles (45)

Classement établi sur 45 modèles évalués, dont 21 de grands éditeurs. Score médian de l'ensemble : 78,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur CharXiv-R indique qu’un modèle répond correctement à une grande part des questions de raisonnement associées aux graphiques. Il traduit une capacité à relier plusieurs éléments visuels et à en produire une interprétation cohérente. Le classement montre un niveau global déjà élevé parmi les 43 modèles recensés, avec une médiane de 78 %, tandis que Claude Mythos Preview atteint 93 %. Cet écart met en évidence une avance du meilleur modèle, mais aussi une possible saturation progressive de la métrique à l’approche du maximum, susceptible de réduire son pouvoir discriminant entre les systèmes les plus performants.

La lecture comparative exige toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune. La portée reste ciblée sur des questions ouvertes en anglais, appliquées à des graphiques scientifiques d’arXiv, avec une question de raisonnement par graphique. Le caractère public du jeu impose également de considérer le risque de contamination lors de l’interprétation des performances.

Sources des scores : llm-stats.