SmartScripto Admin

MMBench-V1.1

MMBench-V1.1 est un benchmark bilingue créé par Shanghai AI Laboratory et plusieurs collaborateurs pour évaluer les modèles vision-langage. Cette version améliorée s’appuie sur des questions à choix multiple en anglais et en chinois afin de comparer leurs capacités multimodales.

ScreenSpot

Créé par Kanzhi Cheng et al. en 2024, ScreenSpot est un benchmark de grounding visuel consacré aux interfaces graphiques. Il évalue la capacité d’un modèle multimodal ou d’un agent visuel à comprendre une capture d’écran et à localiser précisément l’élément désigné par une instruction en…

MAEB

MTEB: MAEB est un benchmark communautaire créé par MTEB / embeddings-benchmark pour évaluer la qualité des embeddings audio. Il couvre la parole, la musique et les sons environnementaux, ainsi que les relations entre contenus audio et texte.

MathVista-Mini

Créé par Pan Lu et al. en 2023, MathVista-Mini est une version réduite de MathVista consacrée au raisonnement mathématique en contexte visuel. Ses questions multimodales associent mathématiques, compréhension d’images et interprétation de diagrammes, tableaux, figures ou scènes.

MMStar

Créé par Lin Chen et ses coauteurs en 2024, MMStar est un benchmark multimodal conçu autour de tâches pour lesquelles l’image est indispensable. Ses questions évaluent conjointement la perception visuelle, le raisonnement multimodal, la compréhension fine et la résolution de problèmes…

Spanish

MTEB: Spanish est un benchmark communautaire créé par MTEB / embeddings-benchmark, avec des jeux de données espagnols notamment issus de jina-ai/mteb-es. Il évalue la qualité des embeddings de texte en espagnol dans plusieurs familles de tâches.

Chemical

MTEB: Chemical est un benchmark public créé en 2024 par BASF dans le cadre de ChemTEB. Il évalue la qualité des embeddings de texte spécialisés en chimie, notamment leur aptitude à représenter la littérature et les données de ce domaine.