SmartScripto Admin

Wild Bench

Wild Bench est un cadre d’évaluation public conçu par Allen Institute for AI (AI2) pour mesurer des modèles de langage sur des tâches ouvertes, réalistes et difficiles. Il s’appuie sur des conversations réelles entre utilisateurs et chatbots afin de tester des réponses génératives dans…

WideSearch

WideSearch est un benchmark d’IA créé par ByteDance Seed pour évaluer des tâches agentiques de recherche d’information à large couverture. Il mesure la capacité d’un modèle à explorer plusieurs sources en parallèle, à collecter des éléments atomiques vérifiables, puis à produire une…

VLMsAreBlind

VLMsAreBlind est un benchmark multimodal conçu pour mettre en évidence les angles morts des vision-language models face à des tâches visuelles très simples pour l’humain. Créé par Auburn University et University of Alberta, avec Anh Totti Nguyen et al., il examine des situations…

VITA-Bench

VITA-Bench est un benchmark public créé par Meituan LongCat pour évaluer des agents d’IA dans des tâches virtuelles inspirées de situations réelles. Il cible l’automatisation de processus complexes, notamment autour de la livraison de repas, de la consommation en magasin et des voyages…

VideoMMMU

VideoMMMU est un benchmark d’évaluation multimodale consacré à l’apprentissage à partir de vidéos professionnelles de niveau expert. Créé par EvolvingLMMs-Lab, il examine la capacité des grands modèles multimodaux à extraire et utiliser des connaissances issues de contenus vidéo…

VideoMME w sub.

VideoMME w sub est un benchmark public conçu par Chaoyou Fu et al. pour évaluer la compréhension vidéo multimodale des modèles d’IA. Il s’appuie sur des questions à choix multiples en anglais et mobilise plusieurs sources d’information, dont les images vidéo, les sous-titres et l’audio.

VideoMME w/o sub.

VideoMME w/o sub. est un benchmark d’évaluation vidéo multimodale conçu par Chaoyou Fu et al. Il sert à mesurer la capacité de modèles vision-langage à comprendre des vidéos, à suivre des événements dans le temps et à raisonner sur des scènes visuelles complexes.