SmartScripto Admin

SWE-Bench Verified

SWE-Bench Verified est un benchmark créé en 2024 par OpenAI et l’équipe SWE-bench de Princeton NLP. Il réunit un sous-ensemble vérifié de problèmes d’ingénierie logicielle issus de véritables issues GitHub et validés par des annotateurs humains.

MMLU

MMLU, pour Massive Multitask Language Understanding, est un benchmark créé par D. Hendrycks et ses coauteurs en 2020. Il évalue les connaissances d’un modèle dans des domaines variés, notamment les sciences, les sciences humaines, les sciences sociales et les disciplines professionnelles.

MMLU-Pro

Créé en 2024 par TIGER AI Lab, MMLU-Pro est un benchmark public de compréhension multitâche conçu comme une extension plus robuste et plus difficile de MMLU. Il écarte les questions triviales et privilégie des tâches exigeant davantage de raisonnement.

Hallucinations (Baseline)

Benchable : Hallucinations (Baseline) est un benchmark créé par Benchable pour évaluer l’humilité épistémique des modèles d’IA. Il vérifie leur capacité à reconnaître l’incertitude face à des concepts, événements ou entités entièrement fictifs, plutôt qu’à produire une réponse inventée.

Reasoning (Baseline)

Benchable : Reasoning (Baseline) est un benchmark public créé par Benchable pour évaluer le raisonnement complexe des modèles d’intelligence artificielle. Il s’appuie sur des questions ouvertes couvrant notamment la logique, la reconnaissance de motifs, l’inférence déductive, le…

AIME 2025

AIME 2025 rassemble les problèmes des deux éditions 2025 de l’American Invitational Mathematics Examination, conçu par la Mathematical Association of America. Ce benchmark repose sur des questions ouvertes de niveau olympiade, dont la résolution exige plusieurs étapes de raisonnement.

Mathematics (Baseline)

Benchable : Mathematics (Baseline) est un benchmark public créé par Benchable pour évaluer les compétences mathématiques des modèles d’intelligence artificielle. Il couvre un spectre allant de l’arithmétique élémentaire au calcul, à l’algèbre linéaire, à la topologie et à la géométrie…