HellaSwag

HellaSwag est un benchmark de raisonnement de bon sens créé en 2019 par Rowan Zellers et ses coauteurs, rattachés à l’University of Washington et à l’Allen Institute for AI. Il demande aux modèles de sélectionner, parmi plusieurs complétions, la suite la plus plausible d’une situation quotidienne ou physique.

Le jeu s’appuie sur l’Adversarial Filtering afin de produire des questions faciles pour les humains mais difficiles pour les modèles. HellaSwag sert ainsi à comparer leur aptitude à comprendre des activités ordinaires et les conséquences plausibles d’un contexte exprimé en langage naturel.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (27)

Classement établi sur 27 modèles évalués, dont 18 de grands éditeurs. Score médian de l'ensemble : 83,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur HellaSwag indique qu’un modèle choisit fréquemment la continuation attendue face à des scènes courantes ou physiques. Il témoigne donc d’une bonne performance sur ce format de raisonnement de bon sens, sans constituer une mesure générale de toutes les capacités d’un système. Dans la base, la médiane de 84 % et le meilleur résultat de 95 %, obtenu par Claude 3 Opus, montrent que plusieurs modèles atteignent un niveau élevé. La proximité du meilleur score avec la performance humaine annoncée comme supérieure à 95 % suggère une saturation possible au sommet du classement, où de faibles écarts deviennent moins discriminants.

L’interprétation exige aussi de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon un protocole indépendant unique. L’accès public au jeu crée en outre un risque de contamination si ses exemples ont été rencontrés pendant l’entraînement. Enfin, sa portée reste circonscrite à des QCM en anglais portant sur la plausibilité de situations quotidiennes et physiques. Le classement compare donc surtout la maîtrise de cette tâche précise parmi les 27 modèles évalués.

Sources des scores : llm-stats.