GPQA diamond

Epoch: GPQA diamond est un benchmark créé par D. Rein et al. pour évaluer des modèles sur des questions scientifiques à choix multiple de niveau doctorat. Son contenu mobilise notamment des connaissances avancées en biologie, en chimie et en physique.

Ce sous-ensemble particulièrement sélectif de GPQA cible des problèmes conçus pour résister à une simple recherche sur le web. Il sert ainsi à comparer la capacité des modèles à conjuguer expertise scientifique approfondie, compréhension des questions et raisonnement robuste afin de sélectionner une réponse correcte.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (85)

Classement établi sur 85 modèles évalués, dont 74 de grands éditeurs. Score médian de l'ensemble : 49,1 %.

Notre analyse

Un score élevé sur Epoch: GPQA diamond indique qu’un modèle répond correctement à une forte proportion de questions scientifiques avancées. Il traduit donc une performance solide en expertise et en raisonnement sur ce format QCM, sans constituer une mesure générale de toutes les capacités d’une IA. La fiabilité du classement est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, plutôt qu’exclusivement auto-déclarés.

Parmi les 137 modèles évalués, la médiane de 66 % et le meilleur score de 95 %, obtenu par OpenAI: GPT-5.4 Pro, montrent un écart substantiel entre le centre du classement et son sommet. Le niveau maximal proche du plafond suggère toutefois un risque de saturation pour les modèles les plus performants, ce qui peut réduire le pouvoir discriminant du benchmark à ce niveau. Sa portée reste circonscrite à 198 questions en anglais, dans certaines disciplines scientifiques et sous forme de QCM. Son accès public impose aussi de considérer le risque de contamination lors de l’interprétation des résultats, sans qu’il invalide à lui seul les scores observés.

Sources des scores : epoch.