MathVision

MathVision est un benchmark créé en 2024 par l’équipe MATH-Vision (mathllm) pour évaluer le raisonnement mathématique multimodal. Il réunit des problèmes dont la résolution exige de combiner la compréhension d’éléments visuels avec des opérations de raisonnement mathématique.

Avec des questions à choix multiples et à réponse ouverte, MathVision sert à comparer la capacité des modèles à relier les domaines visuel et mathématique. Son éventail de disciplines et de niveaux de difficulté permet d’examiner cette compétence sur des problèmes variés, au moyen d’une mesure fondée sur l’exactitude des réponses.

Carte d'identité

Classement des modèles (32)

Classement établi sur 32 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 70,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MathVision indique qu’un modèle fournit fréquemment la réponse exacte à des problèmes associant contexte visuel et raisonnement mathématique. Il reflète donc une bonne performance sur cette tâche précise, sans constituer une mesure générale de toutes les capacités mathématiques ou multimodales. Dans la base, la médiane de 70 % et le meilleur score de 94 %, obtenu par Seed 2.1 Pro, montrent un écart notable entre le niveau central et la tête du classement. La proximité du meilleur résultat avec le maximum possible signale aussi un risque de saturation au sommet, susceptible de réduire progressivement le pouvoir discriminant du benchmark pour les modèles les plus performants.

La comparaison doit toutefois rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant commun. L’accès public au jeu crée également un risque de contamination si ses problèmes ont été exposés aux modèles durant leur développement. Enfin, sa portée reste centrée sur des problèmes en anglais relevant du raisonnement mathématique multimodal. Le classement de 31 modèles renseigne ainsi sur leur efficacité relative dans ce cadre délimité.

Sources des scores : llm-stats.