SmartScripto Admin

VideoMME w/o sub.

VideoMME w/o sub. est un benchmark d’évaluation vidéo multimodale conçu par Chaoyou Fu et al. Il sert à mesurer la capacité de modèles vision-langage à comprendre des vidéos, à suivre des événements dans le temps et à raisonner sur des scènes visuelles complexes.

Video-MME

Video-MME est un benchmark public proposé par Chaoyou Fu et al. en 2024 pour évaluer la compréhension vidéo multimodale des MLLM. Il s’intéresse à la capacité des modèles à répondre à des QCM à partir de vidéos de durées variées, en mobilisant le raisonnement visuel et temporel.

Vibe-Eval

Vibe-Eval est une suite d’évaluation conçue par Reka AI pour tester la compréhension multimodale image-texte des modèles de chat. Elle repose sur des questions ouvertes de compréhension visuelle, avec des réponses de référence rédigées par des experts.

V*

V* est un benchmark de raisonnement visuel conçu par Penghao Wu et Saining Xie, associés à UC San Diego et New York University. Il évalue la capacité de modèles multimodaux à interpréter des images haute résolution, riches en détails et parfois visuellement denses.

TruthfulQA

TruthfulQA est un benchmark conçu pour évaluer la véracité des réponses produites par les modèles de langage. Créé par Stephanie Lin, Jacob Hilton et Owain Evans, il cible des questions susceptibles de déclencher des réponses fausses, notamment lorsqu’elles reposent sur des idées reçues,…

TriviaQA

TriviaQA est un benchmark de compréhension de lecture publié en 2017 par Mandar Joshi et al. à l’University of Washington. Il repose sur des questions de culture générale associées à des documents de preuve, afin d’évaluer la capacité d’un modèle à retrouver une information pertinente et…

Toolathlon

Toolathlon est un benchmark public conçu par HKUST-NLP, le groupe NLP de la Hong Kong University of Science and Technology. Il évalue des agents d’IA dans leur capacité à utiliser plusieurs outils au fil de tâches longues, réalistes et diversifiées, avec des scénarios couvrant plusieurs…