Multilingual MMLU est un benchmark d’IA publié en 2025 par les auteurs de MMLU-ProX, Weihao Xuan et al. Il prolonge l’esprit de MMLU-Pro avec des questions à choix multiple conçues pour tester le raisonnement avancé et les connaissances académiques multidisciplinaires dans un cadre…

Multi-Challenge est un benchmark d’évaluation conversationnelle conçu par Scale AI, via l’équipe SEAL / Scale Labs. Il se concentre sur des dialogues multi-tours réalistes, dans lesquels un modèle doit répondre correctement au dernier tour tout en conservant le contexte accumulé.

Multi-IF est un benchmark publié par Meta (GenAI) pour évaluer la capacité des grands modèles de langage à suivre des instructions dans des contextes multilingues et multi-tours. Il prolonge l’approche d’IFEval en ajoutant des séquences de dialogue sur plusieurs échanges et des…

MT-Bench est un benchmark multi-tours conçu par LMSYS Org (Zheng et al.) pour évaluer la qualité conversationnelle des grands modèles de langage. Il s’intéresse à leur capacité à suivre des consignes, à rester cohérents au fil d’un échange et à produire des réponses utiles, nuancées et…

Internal API instruction following (hard) est un benchmark conçu par OpenAI pour évaluer la capacité des modèles à suivre des consignes complexes, proches de retours réels de développeurs. Il porte surtout sur le respect de contraintes de format, de verbosité et de longueur, dans des…

IFEval, pour Instruction-Following Evaluation, est un benchmark proposé par Google Research (Zhou et al.) afin d’évaluer la capacité des grands modèles de langage à respecter des consignes explicites. Il se concentre sur des instructions vérifiables automatiquement, comme des contraintes…

IFBench est un benchmark public consacré au suivi d’instructions, créé par l’Allen Institute for AI (AI2) et l’University of Washington. Il évalue la capacité d’un modèle à appliquer des consignes complexes, en particulier lorsque celles-ci imposent des contraintes de sortie vérifiables…