SmartScripto Admin

MVEB

MTEB: MVEB est un benchmark public du projet MTEB / embeddings-benchmark, créé par El Assadi, Solomatin, Muennighoff, Enevoldsen et leurs collaborateurs. Il évalue la qualité des embeddings vidéo audio-visuels, c’est-à-dire la représentation conjointe des informations visuelles et…

IMO-AnswerBench

IMO-AnswerBench est un benchmark public conçu par Google DeepMind pour évaluer le raisonnement mathématique de niveau olympiade. Il repose sur des problèmes inspirés de l’International Mathematical Olympiad, formulés en anglais et associés à une réponse courte, unique et vérifiable.

SciCode

SciCode est un benchmark de codage scientifique de recherche conçu par SciCode-bench, une collaboration académique réunissant plusieurs institutions. Élaboré par des scientifiques, il soumet les modèles de langage à des problèmes issus de plusieurs sous-domaines des sciences naturelles,…

OCRBench

OCRBench est un benchmark créé en 2023 par Yuliang Liu et ses coauteurs pour évaluer les capacités de reconnaissance optique de caractères des grands modèles multimodaux.

ERQA

ERQA est un benchmark de Google DeepMind consacré au raisonnement incarné, c’est-à-dire à la compréhension d’interactions avec le monde physique à partir d’informations visuelles et textuelles entrelacées. Il repose sur des questions visuelles à choix multiples.

RealWorldQA

Créé par xAI en 2024, RealWorldQA évalue la compréhension visuelle élémentaire du monde réel par les modèles multimodaux. Il s’appuie sur des images anonymisées prises depuis des véhicules et dans d’autres situations concrètes, accompagnées de questions ouvertes appelant des réponses…

Legal

MTEB: Legal est un benchmark public créé par MTEB / MMTEB (embeddings-benchmark) pour évaluer la recherche de documents juridiques dans plusieurs langues. Il couvre notamment la jurisprudence, les statuts, les questions-réponses juridiques et le résumé juridique.