AI2D

AI2D est un benchmark créé en 2016 par l’Allen Institute for Artificial Intelligence (AI2) et Kembhavi et al. Il repose sur des diagrammes illustratifs issus des sciences naturelles de niveau scolaire, notamment des réseaux alimentaires, des éléments de physiologie humaine et des cycles de vie.

À travers des questions à choix multiples, AI2D évalue la compréhension des schémas et le raisonnement visuel. Les modèles doivent interpréter les éléments graphiques, leur organisation ainsi que leurs relations spatiales, structurelles et sémantiques afin d’identifier les concepts scientifiques représentés.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (32)

Classement établi sur 32 modèles évalués, dont 15 de grands éditeurs. Score médian de l'ensemble : 88,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur AI2D indique qu’un modèle répond correctement à une forte proportion de questions portant sur des diagrammes scientifiques. Il traduit donc une bonne capacité à relier les éléments visuels, la structure du schéma et les concepts exprimés. La mesure par accuracy fournit un indicateur simple, mais la fiabilité du classement doit être nuancée, car les résultats recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune.

Le niveau médian élevé parmi les 32 modèles évalués suggère une possible saturation du benchmark, avec une capacité de discrimination réduite entre les systèmes les plus performants. Son accès public peut aussi créer un risque de contamination ou de familiarité avec les données, sans que cela établisse qu’un modèle particulier en a bénéficié. Sa portée reste centrée sur des QCM en anglais et sur des diagrammes de sciences naturelles de niveau scolaire. Le classement montre néanmoins un avantage du meilleur modèle, Claude 3.5 Sonnet, sur une population déjà globalement performante.

Sources des scores : llm-stats.