MathVista

MathVista est un benchmark créé par P. Lu et al. pour évaluer le raisonnement mathématique des modèles de fondation dans des contextes visuels. Il associe l’interprétation de figures, diagrammes, graphiques et images à des calculs ou à des inférences mathématiques.

Ses questions visuelles combinent QCM et réponses courtes ouvertes. Issu de nombreux jeux multimodaux existants et de trois jeux spécialement créés, MathVista sert à comparer la capacité des modèles à comprendre des représentations complexes et à mener un raisonnement rigoureux en anglais.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (38)

Classement établi sur 38 modèles évalués, dont 31 de grands éditeurs. Score médian de l'ensemble : 67,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MathVista indique une forte capacité à relier compréhension visuelle et raisonnement mathématique, qu’il s’agisse d’extraire des informations d’un graphique, d’interpréter une figure ou d’effectuer les calculs nécessaires. L’accuracy fournit une mesure directe de la proportion de réponses correctes, mais ne décrit pas séparément les différentes compétences mobilisées.

La lecture du classement exige une certaine prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante unique. Le caractère public du benchmark et la réutilisation de 28 jeux existants créent aussi un risque de contamination pour les modèles susceptibles d’avoir rencontré ces contenus. Le meilleur résultat, 91 % pour Seed 2.1 Pro, reste sous le maximum théorique, ce qui suggère une marge avant saturation complète. Avec 38 modèles évalués et une médiane de 68 %, le classement révèle un écart marqué entre le meilleur modèle et le niveau central. Sa portée demeure ciblée sur le raisonnement mathématique multimodal en anglais, dans les formats visuels et les types de réponses couverts.

Sources des scores : llm-stats.