ChartQA

ChartQA est un benchmark créé par Ahmed Masry et ses coauteurs en 2022 pour évaluer la compréhension de graphiques par les modèles d’intelligence artificielle. Il repose sur des questions ouvertes à réponse courte, formulées en anglais, dont les réponses peuvent être textuelles ou numériques.

Le benchmark mesure conjointement le raisonnement visuel, numérique et logique nécessaire pour extraire et interpréter les informations présentées dans un graphique. Il sert ainsi à comparer la capacité des modèles à relier perception visuelle et production d’une réponse précise.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (24)

Classement établi sur 24 modèles évalués, dont 20 de grands éditeurs. Score médian de l'ensemble : 85,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ChartQA indique qu’un modèle répond correctement à une forte proportion de questions portant sur des graphiques, y compris lorsque la résolution exige des opérations numériques ou un raisonnement logique. La métrique combine exact match et relaxed accuracy, avec une tolérance pour les réponses numériques, ce qui limite la pénalisation de petits écarts de formulation ou de valeur. La lecture du classement appelle toutefois à la prudence, car les scores de la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant commun. Avec une médiane de 86 % parmi 24 modèles et un meilleur résultat de 91 % pour Claude 3.5 Sonnet, l’écart entre le niveau central et la tête reste réduit. Cette concentration suggère une capacité de différenciation limitée parmi les modèles les plus performants, compatible avec un effet de saturation. L’accès public peut aussi créer un risque de contamination lors de l’entraînement. Enfin, la portée demeure ciblée sur des graphiques, des questions courtes et l’anglais, sans représenter l’ensemble des aptitudes de raisonnement d’un modèle.

Sources des scores : llm-stats.