BIG-Bench Hard

BIG-Bench Hard, créé par M. Suzgun et al. en 2022, rassemble des tâches de BIG-Bench sélectionnées parce que les évaluations antérieures de modèles de langage n’y dépassaient pas la performance moyenne d’évaluateurs humains.

Le benchmark mesure différentes formes de raisonnement multi-étapes en langage naturel, notamment arithmétiques, logiques, symboliques, temporelles et spatiales. Ses questions textuelles couvrent aussi la compréhension de consignes complexes, le jugement causal, le comptage, la navigation et la reconnaissance de motifs. Il sert ainsi à comparer l’aptitude des modèles à résoudre des problèmes complexes.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (20)

Classement établi sur 20 modèles évalués, dont 17 de grands éditeurs. Score médian de l'ensemble : 71,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur BIG-Bench Hard indique qu’un modèle produit fréquemment la réponse courte exacte attendue sur un éventail de tâches exigeant plusieurs étapes de raisonnement. La métrique exact match / accuracy impose une correspondance stricte, mais ne renseigne pas directement sur la qualité du cheminement ayant conduit à la réponse. La fiabilité comparative doit aussi être nuancée, puisque les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant commun.

Le classement fait apparaître un niveau médian de 71 %, tandis que Claude 3.5 Sonnet atteint 93 %. Cet écart montre qu’une différenciation subsiste entre les modèles, même si un meilleur score proche du maximum peut signaler un risque de saturation progressive. La portée reste circonscrite à 23 tâches en anglais, choisies pour leur difficulté historique, et ne représente donc pas toutes les capacités d’un modèle. Enfin, l’accès public au jeu peut accroître le risque de contamination des évaluations, ce qui invite à interpréter les performances avec prudence.

Sources des scores : llm-stats.