CharXiv-D

CharXiv-D est le sous-ensemble descriptif de CharXiv, un benchmark publié en 2024 par Princeton Language and Intelligence, UW-Madison et l’University of Hong Kong. Il repose sur des graphiques scientifiques réels et diversifiés provenant d’articles arXiv, avec des questions élaborées et vérifiées par des experts humains.

Le benchmark évalue la capacité des modèles multimodaux à extraire des informations élémentaires d’un graphique. Les tâches couvrent notamment l’extraction, l’énumération, la reconnaissance de motifs et le comptage. CharXiv-D sert ainsi à comparer la lecture descriptive de visualisations scientifiques, plutôt que des capacités générales de raisonnement.

Carte d'identité

Classement des modèles (16)

Classement établi sur 16 modèles évalués, dont 5 de grands éditeurs. Score médian de l'ensemble : 87,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur CharXiv-D indique qu’un modèle répond correctement à une large part des questions descriptives en anglais portant sur les graphiques, selon une notation réalisée par GPT-4o. La curation et la vérification humaines des questions renforcent la rigueur du jeu, mais l’interprétation du classement doit rester prudente, car les scores recensés sont majoritairement auto-déclarés par les éditeurs. Parmi les 16 modèles évalués, une médiane de 87 % et un meilleur résultat de 96 % pour Seed 2.1 Pro montrent un niveau global déjà élevé. Cette concentration vers le haut suggère une saturation partielle : les écarts restants deviennent plus réduits et potentiellement moins discriminants. L’accès public aux données invite aussi à considérer un risque de contamination lors de comparaisons entre modèles. Enfin, la portée demeure ciblée sur l’extraction d’informations de base, l’énumération, les motifs et le comptage dans des graphiques scientifiques. Le classement renseigne donc précisément sur cette compétence descriptive multimodale, sans représenter à lui seul l’ensemble des aptitudes d’un modèle.

Sources des scores : llm-stats.