MBPP, pour Mostly Basic Python Problems, est un benchmark de Google Research conçu par J. Austin et al. pour évaluer la génération de code Python à partir d’énoncés en langage naturel. Il rassemble des problèmes courts, issus du crowdsourcing, pensés pour être résolus par des…

MAXIFE est un benchmark multilingue publié en 2025 par Waseda University et OPPO AI Center. Il évalue la capacité des modèles de langage à suivre et exécuter des instructions dans plusieurs langues, avec une attention particulière aux situations cross-lingues et aux variations de…

LiveCodeBench v6 est un benchmark d’évaluation des grands modèles de langage pour le code, conçu par l’équipe LiveCodeBench, avec des contributions de UC Berkeley, MIT, Cornell et Naman Jain et al. Il vise une mesure holistique et sans contamination des capacités liées à la programmation.

LiveCodeBench v5 est un benchmark d’évaluation du code conçu par LiveCodeBench, avec des chercheurs de UC Berkeley, MIT et Cornell, dont Naman Jain et al. Il vise à mesurer les capacités des grands modèles de langage sur des tâches de programmation issues de concours récents.

Include est un benchmark d’évaluation multilingue conçu par Angelika Romanou et al., à l’EPFL et chez Cohere For AI. Il s’appuie sur des examens locaux pour mesurer la capacité des modèles à comprendre des questions ancrées dans des connaissances régionales et culturelles.

HealthBench Professional est un benchmark créé par OpenAI pour évaluer des modèles d’IA dans des usages cliniques professionnels. Il repose sur des conversations de type chat, inspirées de cas cliniques réels, et vise des situations comme la consultation, la rédaction de documentation ou…

HealthBench Hard est un benchmark d’OpenAI consacré à l’évaluation des grands modèles de langage dans des situations de santé difficiles. Il porte sur des conversations multi-tours, avec des cas cliniquement complexes ou ambigus, afin d’observer la capacité des modèles à produire des…