Image only

MTEB: Image only est un benchmark consacré à la qualité des embeddings purement visuels. Publié en 2025 par MTEB / embeddings-benchmark et l’équipe MIEB de Chenghao Xiao, Isaac Chung et leurs coauteurs, il repose sur un sous-ensemble de tâches MIEB ne nécessitant aucun encodeur de texte.

Il évalue la représentation des images à travers la recherche, la classification, le clustering et la similarité sémantique visuelle. Son rôle est de comparer la capacité des modèles à produire des embeddings utiles dans plusieurs types de traitements fondés uniquement sur l’image.

Carte d'identité

Classement des modèles (45)

Classement établi sur 45 modèles évalués, dont 15 de grands éditeurs. Score médian de l'ensemble : 56,3 %.

Notre analyse

Un score élevé indique qu’un modèle produit des représentations visuelles efficaces sur plusieurs familles de tâches, selon les métriques propres à la recherche, à la classification, au clustering et au STS visuel. Il ne correspond donc pas à une capacité unique, mais à une qualité agrégée d’embeddings d’images. La fiabilité du classement doit toutefois être nuancée, car les résultats sont majoritairement auto-déclarés par les éditeurs plutôt que tous mesurés dans un cadre indépendant uniforme.

Avec 45 modèles évalués, une médiane de 56 % et un meilleur résultat de 69 % pour jinaai/jina-embeddings-v5-omni-small de Jina AI, le classement fait apparaître un écart notable entre le niveau central et la tête. Ces valeurs ne suggèrent pas une saturation complète du benchmark. Sa portée reste volontairement ciblée sur les tâches purement visuelles du sous-ensemble MIEB. Il mesure ainsi la qualité des embeddings d’images, mais exclut explicitement les tâches nécessitant un encodeur de texte. Le classement doit être interprété dans ce périmètre précis, sans l’étendre aux capacités multimodales dépendant du langage.

Sources des scores : mteb.