SuperGPQA

SuperGPQA est un benchmark conçu par M-A-P, ByteDance Seed et 2077.AI pour évaluer les grands modèles de langage sur des questions académiques de niveau master et doctorat. Il couvre un large éventail de disciplines, notamment des domaines spécialisés rarement représentés dans les évaluations généralistes.

Fondé sur des QCM en anglais, il mesure à la fois la mobilisation de connaissances avancées et le raisonnement nécessaire pour sélectionner une réponse exacte. Sa construction repose sur un filtrage collaboratif entre humains et modèles, avec la participation de plus de 80 experts.

Carte d'identité

Classement des modèles (34)

Classement établi sur 34 modèles évalués. Score médian de l'ensemble : 59,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur SuperGPQA indique une forte capacité à répondre correctement à des questions spécialisées de niveau supérieur, dans des domaines académiques très variés. Il ne mesure toutefois que l’exactitude finale sur des QCM en anglais, et non l’ensemble des aptitudes d’un modèle, comme la production libre ou les usages non académiques. Dans la base, la médiane de 60 % et le meilleur résultat de 74 %, obtenu par Qwen3.7 Max, montrent une hiérarchie nette, tout en laissant une marge de progression importante avant une éventuelle saturation. La comparaison doit rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon un protocole indépendant unique. L’accès public au jeu appelle aussi à surveiller le risque de contamination lors de l’entraînement ou de l’optimisation des modèles. Le classement renseigne donc surtout sur la maîtrise comparative de connaissances et de raisonnements académiques avancés dans le cadre précis de SuperGPQA.

Sources des scores : llm-stats.