PolyMATH

PolyMATH est un benchmark de raisonnement mathématique multimodal publié en 2024 par H. Gupta et ses coauteurs, au sein du groupe de Chitta Baral à l’Arizona State University. Il rassemble des défis cognitifs en anglais associant contenus textuels et visuels sous forme de QCM.

Ses problèmes couvrent notamment la reconnaissance de motifs, le raisonnement spatial et le raisonnement relatif. PolyMATH sert ainsi à comparer la capacité des modèles multimodaux à mobiliser plusieurs formes de raisonnement face à des situations variées.

Carte d'identité

Classement des modèles (23)

Classement établi sur 23 modèles évalués. Score médian de l'ensemble : 51,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur PolyMATH indique qu’un modèle répond correctement à une large part de ces défis cognitifs multimodaux. L’exactitude fournit une mesure simple et comparable, tandis que la collecte manuelle des problèmes contribue à la structuration de l’évaluation. La lecture du classement demande néanmoins de la prudence, car les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune. L’accès public au benchmark facilite son utilisation, mais crée aussi un risque d’exposition des problèmes aux modèles, ce qui invite à considérer une éventuelle contamination lors de l’interprétation. Sa portée reste centrée sur des QCM en anglais et sur dix catégories de raisonnement cognitif textuel et visuel. Le classement montre un écart important entre la médiane et le meilleur résultat, obtenu par Qwen3.7 Max. Comme ce premier score demeure inférieur à l’exactitude parfaite, l’ensemble ne paraît pas totalement saturé parmi les 23 modèles évalués.

Sources des scores : llm-stats.