SmartScripto Admin

FrontierMath-Tier-4-2025-07-01-Private

Epoch: FrontierMath-Tier-4-2025-07-01-Private est une variante privée de niveau 4 de FrontierMath, un benchmark créé par Epoch AI. Il réunit des problèmes mathématiques originaux, conçus par des experts et destinés aux modèles de pointe.

DocVQA

DocVQA est un benchmark de questions-réponses visuelles consacré aux images de documents. Créé par M. Mathew, D. Karatzas et R. Manmatha en 2020, il évalue la capacité des modèles à lire un document, à en comprendre le contenu et à repérer les informations utiles.

ARC-C

ARC-C est un benchmark de questions scientifiques à choix multiples de niveau scolaire, créé en 2018 par AI2 (Allen Institute for AI), Peter Clark et ses coauteurs. Il constitue la partie difficile de l’AI2 Reasoning Challenge.

LiveBench

LiveBench est un benchmark généraliste créé en 2024 par l’équipe LiveBench, réunissant notamment Abacus.AI, NYU et Colin White. Il évalue les modèles de langage sur des tâches de mathématiques, de code, de raisonnement, de langue, d’analyse de données et de suivi d’instructions.

SimpleQA Verified

Epoch: SimpleQA Verified est un benchmark de Google DeepMind consacré à la factualité paramétrique en forme courte. Il évalue la capacité des modèles à restituer des connaissances mémorisées dans des réponses factuelles brèves, tout en mesurant leur véracité et leur propension aux…

DROP

DROP est un benchmark de compréhension écrite conçu par l’Allen Institute for AI (AI2), UC Irvine et Dheeru Dua et al. Il évalue la capacité des modèles à raisonner à partir du contenu de paragraphes, au-delà de la simple reformulation ou de l’identification d’entités.

SWE-Bench Pro

SWE-Bench Pro est un benchmark créé en 2025 par Xiang Deng et ses coauteurs chez Scale AI. Version avancée de SWE-Bench, il évalue des modèles de langage confrontés à des problèmes réels de génie logiciel, formulés en anglais et accompagnés de code.