MMLU, pour Massive Multitask Language Understanding, est un benchmark publié en 2020 par D. Hendrycks et al. Il évalue des modèles de langage au moyen de questions à choix multiple portant sur un large éventail de domaines, des sciences aux humanités, en passant par les sciences sociales…

MGSM, pour Multilingual Grade School Math, est un benchmark publié en 2022 par Google Research et F. Shi et al. Il adapte des problèmes de mathématiques de niveau école primaire issus de GSM8K dans dix langues typologiquement diverses, afin d’évaluer le raisonnement arithmétique…

MathVista-Mini est un benchmark multimodal de mathématiques publié en 2023 par Pan Lu et al. Il évalue la capacité des modèles à résoudre des problèmes qui exigent simultanément compréhension visuelle, raisonnement quantitatif et interprétation de diagrammes, tableaux, figures ou scènes.

MathVista est un benchmark publié en 2023 par P. Lu et al. Il évalue le raisonnement mathématique multimodal des modèles de fondation, en combinant compréhension visuelle et résolution de problèmes mathématiques.

MATH-500 est un benchmark de mathématiques conçu pour évaluer la capacité des modèles d’IA à résoudre des problèmes de compétition exigeants. Créé par OpenAI, avec H. Lightman et al., à partir du jeu MATH de D. Hendrycks et al., il rassemble des questions ouvertes à réponse courte…

MathArena Apex est un benchmark public de mathématiques avancées conçu pour évaluer le raisonnement de modèles d’IA sur des problèmes de niveau olympiade parmi les plus difficiles. Créé par SRI Lab (ETH Zurich) et INSAIT, il cible des tâches exigeant une résolution multi-étapes et une…

MathVision est un benchmark consacré au raisonnement mathématique multimodal. Créé par l’équipe MATH-Vision (mathllm), il évalue la capacité des modèles à résoudre des problèmes mathématiques qui nécessitent à la fois une compréhension visuelle et un raisonnement formel.