GPQA

GPQA est un benchmark publié en 2023 par David Rein et al. Il rassemble des questions à choix multiple rédigées par des spécialistes de la biologie, de la chimie et de la physique, avec un niveau de difficulté élevé et une conception visant à résister aux recherches sur le web.

Le benchmark sert à évaluer conjointement le raisonnement scientifique avancé et la maîtrise de connaissances expertes. Il permet ainsi de comparer la capacité des modèles à résoudre des problèmes spécialisés, plutôt qu’à retrouver directement des réponses accessibles en ligne.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (219)

Classement établi sur 219 modèles évalués, dont 149 de grands éditeurs. Score médian de l'ensemble : 72,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur GPQA indique une forte capacité à sélectionner la bonne réponse face à des questions scientifiques expertes et difficiles. Les résultats doivent toutefois être interprétés avec prudence: dans cette base, ils sont majoritairement auto-déclarés par les éditeurs, ce qui offre une rigueur moins homogène qu’une évaluation indépendante appliquant un protocole unique. Le classement montre un niveau global déjà élevé, avec un score médian de 71 %, supérieur aux 65 % atteints par les experts titulaires d’un doctorat dans la description du jeu. Claude Mythos Preview domine à 95 %, ce qui suggère une proximité avec la saturation pour les meilleurs modèles et réduit la capacité du benchmark à les départager finement. L’accès public au jeu crée aussi un risque de contamination des données d’entraînement ou d’évaluation, sans que les scores auto-déclarés suffisent à l’écarter. Enfin, la portée reste ciblée: GPQA mesure des QCM en anglais dans trois disciplines scientifiques. Ses résultats ne résument donc pas les capacités générales d’un modèle au-delà de ce cadre.

Sources des scores : llm-stats.