SmartScripto Admin

MMMU (val)

MMMU (val), créé par Xiang Yue et ses collaborateurs en 2023, est l’ensemble de validation du benchmark Massive Multi-discipline Multimodal Understanding and Reasoning. Il rassemble des questions de niveau universitaire associant du texte à différents supports visuels, notamment des…

HMMT Feb 26

HMMT Feb 26 est un benchmark de MathArena, créé par l’ETH Zurich et eth-sri à partir de problèmes du Harvard-MIT Mathematics Tournament. Il évalue la capacité des modèles d’IA à résoudre des exercices avancés de mathématiques de compétition.

VBench: Créativité (VBench 2.0)

VBench: Créativité (VBench 2.0), créé par Vchitect et al., est un benchmark consacré aux modèles de génération vidéo. À partir de prompts textuels en anglais, il évalue automatiquement leur capacité à produire des vidéos créatives, originales et variées.

VBench: Total

VBench: Total est une suite d’évaluation créée en 2023 par la Vchitect Team et ses collaborateurs pour comparer les modèles génératifs vidéo, notamment les systèmes texte-vers-vidéo. Elle s’appuie sur des prompts en anglais et sur des métriques automatiques.

BFCL-V4

BFCL-V4, conçu par la Gorilla LLM team de l’UC Berkeley, est un benchmark consacré à l’évaluation des modèles capables d’appeler correctement des fonctions et des API. Il couvre des appels simples, multiples, parallèles ou imbriqués dans différents scénarios de programmation.

LongBench v2

LongBench v2 est un benchmark créé par THUDM (Tsinghua University) et d’autres contributeurs pour évaluer la capacité des grands modèles de langage à traiter des contextes très longs. Il privilégie des problèmes réalistes exigeant compréhension approfondie et raisonnement.

AA-LCR

AA-LCR, pour Agent Arena Long Context Reasoning benchmark, est un benchmark créé par Artificial Analysis en 2025. Il évalue la capacité des modèles d’IA à raisonner sur de longs contextes et à synthétiser des informations réparties dans plusieurs documents.