SimpleQA Verified

Epoch: SimpleQA Verified est un benchmark de Google DeepMind consacré à la factualité paramétrique en forme courte. Il évalue la capacité des modèles à restituer des connaissances mémorisées dans des réponses factuelles brèves, tout en mesurant leur véracité et leur propension aux hallucinations.

Construit à partir de SimpleQA d’OpenAI, il vise à en corriger les étiquettes bruitées, les biais thématiques et les redondances. Le dédoublonnage, l’équilibrage des thèmes et la réconciliation des sources en font un outil de comparaison ciblé pour les systèmes de questions-réponses factuelles.

Carte d'identité

Classement des modèles (26)

Classement établi sur 26 modèles évalués, dont 23 de grands éditeurs. Score médian de l'ensemble : 40,3 %.

Notre analyse

Un score élevé sur Epoch: SimpleQA Verified indique qu’un modèle fournit fréquemment la réponse factuelle attendue, avec une bonne concordance mesurée par le score F1 et l’exactitude. La fiabilité du classement est renforcée par le fait que les résultats sont au moins partiellement mesurés par un tiers, plutôt que fondés uniquement sur des déclarations des concepteurs. Parmi les 57 modèles évalués, l’écart entre la médiane de 40 % et les 77 % de Gemini 3.1 Pro Preview montre une forte différenciation des performances et une marge de progression encore importante, ce qui ne suggère pas une saturation complète. La portée reste toutefois spécialisée : le benchmark teste des questions factoïdes courtes en anglais et ne représente pas l’ensemble des capacités de raisonnement ou de génération. Son accès public peut aussi créer un risque de contamination si les questions entrent dans des données d’entraînement. Enfin, malgré le travail de dédoublonnage et d’équilibrage, les résultats doivent être interprétés comme une mesure ciblée de connaissances factuelles mémorisées et d’hallucinations.

Sources des scores : epoch.