Winogrande

Winogrande est un benchmark de raisonnement de sens commun conçu par l’Allen Institute for AI et l’University of Washington, dans le cadre des travaux de K. Sakaguchi et al. Il propose des phrases ambiguës où un système doit résoudre une coréférence, notamment pronominale.

Inspiré du Winograd Schema Challenge et construit à grande échelle, il utilise un filtrage adversarial pour réduire les biais artificiels et les raccourcis statistiques. Il sert ainsi à évaluer si un modèle mobilise des connaissances de sens commun plutôt que de simples régularités superficielles.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (22)

Classement établi sur 22 modèles évalués, dont 13 de grands éditeurs. Score médian de l'ensemble : 78,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle choisit fréquemment la bonne résolution parmi deux possibilités dans des phrases anglaises ambiguës. Le filtrage adversarial renforce la valeur de cette mesure en réduisant certains biais parasites. Le caractère privé du jeu de test, dont les réponses ne sont pas divulguées, limite aussi l’apprentissage direct des solutions. La rigueur comparative reste toutefois à nuancer, car les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante unique.

Le classement de 22 modèles montre un niveau médian de 79 %, tandis que GPT-4 atteint 88 %. Cet écart suggère une différenciation encore visible entre les systèmes et ne traduit pas une saturation complète. Le meilleur résultat demeure inférieur aux 94,0 % attribués aux humains, ce qui laisse subsister une marge sur la tâche. La portée du benchmark reste ciblée : il mesure des QCM binaires en anglais consacrés à la coréférence et au sens commun. Il ne constitue donc pas, à lui seul, une mesure générale de toutes les capacités d’un modèle.

Sources des scores : llm-stats.