SmartScripto Admin

Vibe-Eval

Vibe-Eval est une suite d’évaluation créée par Reka AI pour mesurer la compréhension multimodale image-texte et le raisonnement visuel difficile. Elle repose sur des questions visuelles ouvertes accompagnées de réponses de référence rédigées par des experts.

MMLU-Redux

MMLU-Redux est une version améliorée de MMLU, créée en 2024 par Aryo Pradipta Gema et des chercheurs de l’University of Edinburgh. Ses questions ont été ré-annotées manuellement afin d’identifier et de corriger des erreurs présentes dans le jeu original.

Natural2Code

Natural2Code est un benchmark créé par Google DeepMind pour évaluer la génération de code Python à partir d’énoncés en anglais. Les problèmes suivent le format HumanEval et appellent une réponse sous forme de code.

HealthBench Professional

HealthBench Professional est un benchmark créé par OpenAI pour évaluer les capacités et la sûreté des modèles d’IA dans des usages cliniques professionnels. Il repose sur des conversations en anglais reproduisant des échanges réels de cliniciens autour de cas médicaux.

Finance Agent

Finance Agent est un benchmark créé par Vals AI pour évaluer les modèles d’intelligence artificielle sur des tâches agentiques d’analyse financière réelle. Il repose sur des questions ouvertes vérifiées, qui mobilisent la recherche d’informations et l’exploitation de documents financiers.

ECLeKTic

ECLeKTic est un benchmark créé par Google Research et Google DeepMind pour évaluer le transfert de connaissances entre langues dans les grands modèles de langage. Il repose sur des questions de recherche d’information issues d’articles Wikipédia dont le contenu pertinent n’existe que…

FrontierSWE

FrontierSWE est un benchmark créé par Proximal (Proximal-Labs) pour évaluer la capacité d’agents d’IA à mener des projets techniques ouverts sur des horizons allant de plusieurs heures à plusieurs dizaines d’heures.