SmartScripto Admin

NOVA-63

NOVA-63 est un benchmark d’évaluation multilingue conçu par Jinyang Zhang et ses coauteurs de l’Université de Pékin et d’Alibaba Group. Il repose sur des questions rédigées directement par des locuteurs natifs, afin d’éviter les formulations artificielles issues de traductions.

MuirBench

MuirBench est un benchmark académique publié en 2024 par le consortium à l’origine du projet, parmi lequel figurent Pan Lu et lupantech. Il évalue la compréhension robuste de plusieurs images par les grands modèles de langage multimodaux.

MAXIFE

MAXIFE est un benchmark multilingue créé en 2025 par Waseda University et OPPO AI Center. Il évalue la capacité des grands modèles de langage à suivre et exécuter des instructions dans plusieurs langues, y compris dans des situations cross-lingues et des contextes culturels variés.

DocVQAtest

DocVQAtest est un benchmark de Visual Question Answering appliqué aux images de documents. Publié en 2020 par Minesh Mathew, Dimosthenis Karatzas et C. V. Jawahar, il repose sur des questions ouvertes en anglais appelant des réponses courtes.

OCRBench-V2 (en)

OCRBench-V2 (en) est le sous-ensemble anglophone d’un benchmark bilingue consacré à l’OCR avancé des Large Multimodal Models. Publié en 2024 par le groupe de recherche académique de Yuliang Liu, avec Ling Fu, Zhebin Kuang et leurs coauteurs, il repose sur des questions-réponses centrées…

NL2Repo

Publié en 2025, NL2Repo est un benchmark public consacré au codage à long horizon. Il demande aux modèles de produire une bibliothèque Python complète à partir d’une spécification rédigée en langage naturel, plutôt que de résoudre un exercice isolé ou de générer un simple fragment de code.

InfoVQAtest

InfoVQAtest est un benchmark conçu en 2021 par Minesh Mathew et ses coauteurs du CVIT à l’IIIT Hyderabad et du CVC-UAB. Il repose sur des questions ouvertes à réponse courte associées à des images d’infographies en anglais.