BoolQ

BoolQ est un benchmark de compréhension de lecture créé par Google AI Language, sous la direction de Christopher Clark et ses coauteurs. Il repose sur des questions naturelles auxquelles un modèle doit répondre par oui ou non en s’appuyant sur un passage.

Son intérêt tient aux inférences proches de l’implication textuelle nécessaires pour traiter des informations complexes et non factuelles. BoolQ sert ainsi à évaluer la capacité d’un modèle à relier une question au contenu d’un texte, au-delà d’une simple extraction d’information.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (10)

Classement établi sur 10 modèles évalués, dont 9 de grands éditeurs. Score médian de l'ensemble : 81,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé en accuracy indique qu’un modèle répond correctement à une forte proportion de questions booléennes en mobilisant le passage fourni. Il traduit donc une bonne aptitude à la compréhension de lecture et à l’inférence textuelle dans le cadre précis de BoolQ. L’interprétation du classement exige toutefois de la prudence, car les scores de la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante uniforme. Avec une médiane de 82 % parmi les dix modèles évalués et un meilleur résultat de 88 % pour Hermes 3 70B de Nous Research, le classement montre des performances globalement élevées et un écart limité entre le niveau médian et la tête. Cette proximité peut réduire le pouvoir discriminant du benchmark et signaler un risque de saturation. Son accès public impose aussi de considérer un possible risque de contamination lors de l’entraînement. Enfin, sa portée reste circonscrite à des questions oui/non en anglais accompagnées d’un passage, et ne résume pas l’ensemble des capacités de raisonnement ou de compréhension d’un modèle.

Sources des scores : llm-stats.