SmartScripto Admin

Email Classification (Baseline)

Benchable : Email Classification (Baseline) est un benchmark public créé par Benchable pour évaluer la classification automatique d’emails en anglais. Chaque cas demande d’attribuer un message à une seule catégorie parmi six types courants, couvrant notamment les communications…

Ethics (Baseline)

Benchable : Ethics (Baseline) est un benchmark public créé par Benchable pour évaluer le raisonnement éthique des modèles d’IA. Il couvre l’éthique professionnelle, l’éthique de la recherche, l’éthique des technologies et le raisonnement moral.

General Knowledge (Baseline)

Benchable : General Knowledge (Baseline) est un benchmark créé par Benchable pour évaluer les connaissances générales des modèles d’IA. Il repose sur des questions à choix multiple en anglais, dont la difficulté progresse de sujets accessibles vers des connaissances très obscures.

Coding (Baseline)

Benchable : Coding (Baseline) est un benchmark public créé par Benchable pour tester les connaissances générales en programmation. Il prend la forme de questions à choix multiple en anglais, avec six réponses possibles, et couvre plusieurs langages ainsi que différents niveaux de…

Instruction Following (Baseline)

Benchable : Instruction Following (Baseline) est un benchmark public créé par Benchable pour évaluer la capacité des modèles d’IA à suivre précisément des consignes en anglais. Les tâches progressent de directives simples vers des instructions conditionnelles à plusieurs niveaux, pouvant…

GPQA diamond

Epoch: GPQA diamond est un benchmark créé par D. Rein et al. pour évaluer des modèles sur des questions scientifiques à choix multiple de niveau doctorat. Son contenu mobilise notamment des connaissances avancées en biologie, en chimie et en physique.

GPQA

GPQA est un benchmark publié en 2023 par David Rein et al. Il rassemble des questions à choix multiple rédigées par des spécialistes de la biologie, de la chimie et de la physique, avec un niveau de difficulté élevé et une conception visant à résister aux recherches sur le web.