SmartScripto Admin

PIQA

PIQA, créé par Yonatan Bisk et ses coauteurs, est un benchmark consacré au raisonnement de sens commun physique en langage naturel. Il confronte les modèles à des situations quotidiennes impliquant des interactions avec le monde matériel et leur demande de choisir la solution la plus…

BoolQ

BoolQ est un benchmark de compréhension de lecture créé par Google AI Language, sous la direction de Christopher Clark et ses coauteurs. Il repose sur des questions naturelles auxquelles un modèle doit répondre par oui ou non en s’appuyant sur un passage.

MedXpertQA

MedXpertQA est un benchmark médical conçu en 2025 par le laboratoire C3I de l’Université Tsinghua. Il évalue les connaissances médicales et le raisonnement clinique de niveau expert à partir de questions issues d’examens médicaux spécialisés.

RTEB Finance

MTEB: RTEB Finance est un benchmark créé par Hugging Face et le projet MTEB (embeddings-benchmark). Ce sous-ensemble spécialisé de RTEB évalue la qualité de récupération de documents dans le domaine financier, notamment pour les questions-réponses, les documents financiers et la…

Graphwalks BFS <128k

Graphwalks BFS <128k est un benchmark créé par OpenAI pour évaluer le raisonnement relationnel et structurel sur des graphes dans des contextes longs. Les graphes, représentés par des hachages hexadécimaux, encodent notamment des relations parent-enfant à suivre à travers le contexte.

Graphwalks parents <128k

Graphwalks parents <128k est un benchmark créé par OpenAI pour évaluer le raisonnement structurel sur des graphes encodés dans un contexte long. Les tâches demandent d’identifier les nœuds parents d’un nœud donné, à partir des relations d’arêtes représentées par des hachages hexadécimaux.

COLLIE

COLLIE est un cadre fondé sur une grammaire pour construire systématiquement des tâches de génération de texte sous contraintes compositionnelles. Créé par Princeton University et ses collaborateurs, il couvre plusieurs niveaux de production, du mot au passage.