SmartScripto Admin

Agentic Coding

LiveBench: Agentic Coding est une catégorie de LiveBench ajoutée en 2025 par l’équipe réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Elle évalue le codage agentique au moyen de tâches réalisées sur plusieurs tours dans un…

Wild Bench

Wild Bench est un cadre d’évaluation automatisé créé en 2024 par l’Allen Institute for AI (AI2). Il s’appuie sur des tâches ouvertes, réalistes et difficiles, sélectionnées à partir de conversations réelles entre des utilisateurs et des chatbots.

ARC-E

ARC-E est le sous-ensemble facile du AI2 Reasoning Challenge, créé par l’Allen Institute for Artificial Intelligence (AI2) et Peter Clark et al. Il rassemble des QCM scientifiques en anglais de niveau scolaire, conçus pour mobiliser des connaissances et des capacités de raisonnement.

Video-MME

Video-MME est un benchmark public conçu en 2024 par Chaoyou Fu et ses coauteurs pour évaluer la compréhension vidéo des Multi-modal Large Language Models. Il examine notamment leur capacité à raisonner sur les dimensions visuelles et temporelles de vidéos aux formats et durées variés.

EgoSchema

EgoSchema est un benchmark de compréhension vidéo en contexte égocentrique, créé en 2023 par K. Mangalam, R. Akshulakov et J. Malik. Il repose sur des questions à choix multiples élaborées par des humains à partir de séquences issues d’Ego4D.

MM-MT-Bench

MM-MT-Bench est un benchmark créé par Mistral AI en 2024 pour évaluer des modèles multimodaux ajustés au suivi d’instructions. Il repose sur des dialogues en anglais combinant texte et images, organisés sur plusieurs tours.

TruthfulQA

TruthfulQA est un benchmark créé en 2021 par Stephanie Lin, Jacob Hilton et Owain Evans pour évaluer la véracité des réponses produites par les modèles de langage. Ses questions sont délibérément conçues pour susciter des erreurs inspirées d’idées reçues, de croyances fausses ou de…