BoolQ est un benchmark de compréhension de lecture consacré aux questions naturelles à réponse oui/non. Créé par Google AI Language, avec Christopher Clark et al., il évalue la capacité d’un modèle à relier une question à un passage et à produire une réponse booléenne cohérente.

BIG-Bench Extra Hard est un benchmark public créé par Google DeepMind pour évaluer des capacités de raisonnement général difficiles et variées. Il prolonge l’esprit de BIG-Bench Hard en remplaçant chaque tâche par une variante nouvelle, conçue pour être nettement plus exigeante.

Arena-Hard v2 est un benchmark conçu par LMArena (ex-LMSYS), avec Tianle Li, Wei-Lin Chiang et leurs coauteurs, pour évaluer les grands modèles de langage sur des requêtes ouvertes issues d’usages réels. Il cible des tâches difficiles, notamment en ingénierie logicielle, en…

Arena Hard est un benchmark public conçu par LMSYS / Chatbot Arena pour évaluer des modèles conversationnels instruction-tuned sur des requêtes ouvertes difficiles. Il cible des tâches proches d’usages réels, incluant raisonnement, programmation, mathématiques, écriture et créativité.