SmartScripto Admin

Hallusion Bench

Hallusion Bench est un benchmark public créé en 2023 par Tianyi Guan et ses coauteurs pour évaluer le raisonnement multimodal associant images et contexte textuel. Il confronte les grands modèles vision-langage à des questions en anglais appelant une réponse par oui ou non.

MVBench

MVBench est un benchmark public de compréhension vidéo multimodale créé en 2023 par OpenGVLab, le Shanghai AI Laboratory et d’autres contributeurs. Il réunit des tâches vidéo conçues à partir d’annotations existantes selon une méthode de génération allant du statique au dynamique.

CC-OCR

CC-OCR est un benchmark conçu en 2024 par Alibaba Group, via Alibaba Research et l’équipe Qwen, pour évaluer les capacités de lecture des Large Multimodal Models. Il couvre la reconnaissance de texte dans des scènes variées et plusieurs langues, y compris les textes orientés de…

CoREB

MTEB: CoREB est un benchmark public consacré à la qualité des embeddings et du reranking de code. Publié en 2026 par les auteurs de « Beyond Retrieval: A Multitask Benchmark and Model for Code Search », il couvre la recherche code-vers-texte, texte-vers-code et code-vers-code.

PolyMATH

PolyMATH est un benchmark de raisonnement mathématique multimodal publié en 2024 par H. Gupta et ses coauteurs, au sein du groupe de Chitta Baral à l’Arizona State University. Il rassemble des défis cognitifs en anglais associant contenus textuels et visuels sous forme de QCM.

Vietnamese

MTEB: Vietnamese est un benchmark consacré à la qualité des plongements de texte en vietnamien. Créé en 2025 par les auteurs de VN-MTEB, notamment Pham, Luu et leurs coauteurs, il s’appuie sur des données de MTEB traduites automatiquement, puis filtrées afin de préserver les entités…

Thai

MTEB: Thai est un benchmark communautaire créé par MTEB / MMTEB pour évaluer la qualité des embeddings de textes en thaï. Il couvre plusieurs usages complémentaires, notamment la classification, le clustering, la classification de paires, le reranking et la recherche d’information.