WritingBench est un benchmark public consacré à l’évaluation des capacités de rédaction générative des grands modèles de langage. Publié en 2025 par Alibaba Group, via Tongyi Lab, avec des collaborateurs de Renmin University et SJTU, il couvre des tâches ouvertes de production de texte…

WMT24++ est un benchmark de traduction automatique multilingue créé par Google et Unbabel. Il étend WMT24 afin d’évaluer des systèmes de traduction et des grands modèles de langage dans des contextes linguistiques variés, avec des références humaines et des post-éditions.

WMT23 est un benchmark issu de la Conference on Machine Translation, publié en 2023, consacré à l’évaluation de systèmes de traduction automatique. Il couvre plusieurs contextes d’usage, dont la traduction générale, biomédicale, littéraire et des langues peu dotées, afin d’observer la…

Wild Bench est un cadre d’évaluation public conçu par Allen Institute for AI (AI2) pour mesurer des modèles de langage sur des tâches ouvertes, réalistes et difficiles. Il s’appuie sur des conversations réelles entre utilisateurs et chatbots afin de tester des réponses génératives dans…

Winogrande est un benchmark en anglais consacré au raisonnement de sens commun et à la résolution de coréférence dans des phrases ambiguës. Créé par Allen Institute for AI (AI2), University of Washington et K. Sakaguchi et al., il prolonge l’esprit du Winograd Schema Challenge avec un…

Social IQa est un benchmark consacré au raisonnement de sens commun social. Créé par Maarten Sap et al. à l’Allen Institute for AI et à l’University of Washington, il évalue la capacité des modèles à interpréter des situations quotidiennes impliquant des interactions humaines.

MultiPL-E est un benchmark de génération de code créé par F. Cassano et al. Il adapte des tâches issues de HumanEval et de MBPP afin d’évaluer des modèles capables de produire du code à partir de spécifications textuelles et de tests unitaires.