SimpleQA

SimpleQA est un benchmark de factualité créé par OpenAI. Il évalue la capacité des grands modèles de langage à fournir des réponses courtes et exactes à des questions factuelles ouvertes, conçues pour admettre une réponse unique et incontestable.

Les questions couvrent des domaines variés, des sciences et technologies au divertissement. Au-delà de l’exactitude, SimpleQA examine aussi la calibration des modèles, notamment leur aptitude à reconnaître leur incertitude ou à s’abstenir lorsque nécessaire. Il sert ainsi à comparer la fiabilité factuelle des réponses synthétiques.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (45)

Classement établi sur 45 modèles évalués, dont 31 de grands éditeurs. Score médian de l'ensemble : 34,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur SimpleQA indique qu’un modèle répond correctement à une grande proportion de questions factuelles précises, dans un format court. Il reflète également, dans la conception du benchmark, la capacité à distinguer les connaissances maîtrisées des situations appelant une abstention ou l’expression d’une incertitude. La lecture du classement demande toutefois de la prudence, car les scores de la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune.

Le meilleur résultat, obtenu par DeepSeek-V3.2-Exp avec 97 %, contraste fortement avec la médiane de 34 % observée parmi les 45 modèles évalués. Cet écart révèle une forte dispersion des performances. Un résultat proche du maximum peut aussi signaler un risque de saturation, qui réduit progressivement le pouvoir discriminant du benchmark au sommet. Son accès public expose par ailleurs les évaluations à un risque de contamination des données d’entraînement. Enfin, sa portée reste centrée sur des questions courtes en anglais et sur l’exactitude factuelle, sans représenter l’ensemble des capacités d’un modèle.

Sources des scores : llm-stats.