MathVista-Mini

Créé par Pan Lu et al. en 2023, MathVista-Mini est une version réduite de MathVista consacrée au raisonnement mathématique en contexte visuel. Ses questions multimodales associent mathématiques, compréhension d’images et interprétation de diagrammes, tableaux, figures ou scènes.

Le benchmark évalue ainsi la capacité des modèles de fondation à combiner perception visuelle et raisonnement quantitatif, plutôt qu’à traiter séparément ces compétences. La diversité des tâches et l’alternance entre QCM et réponses courtes en font un indicateur synthétique de résolution de problèmes visuels mathématiques.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (23)

Classement établi sur 23 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 81,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MathVista-Mini indique qu’un modèle répond correctement à une forte proportion de problèmes nécessitant d’articuler compréhension visuelle, interprétation des informations et calcul. L’accuracy offre une lecture directe des performances, mais ne distingue pas les différentes étapes du raisonnement ni les types d’erreurs. Dans la base, les résultats sont majoritairement auto-déclarés par les éditeurs, ce qui invite à les considérer avec davantage de prudence que des mesures produites selon une évaluation indépendante et uniforme.

La médiane de 81 % parmi les 23 modèles évalués, face au meilleur résultat de 90 % obtenu par Kimi K2.5, montre un niveau globalement élevé et un écart limité entre le centre du classement et son sommet. Cette concentration peut réduire le pouvoir discriminant du benchmark pour les modèles les plus performants et signaler un risque de saturation progressive. Son caractère public rend aussi la contamination des évaluations possible. Enfin, sa portée reste circonscrite au raisonnement mathématique visuel en anglais et ne résume pas les capacités générales d’un modèle.

Sources des scores : llm-stats.