Image-Text, Multilingual

MTEB: Image-Text, Multilingual est un benchmark public consacré à la qualité des embeddings d’images et image-texte dans un contexte multilingue. Publié par MTEB / embeddings-benchmark et l’équipe MIEB de Chenghao Xiao, Isaac Chung et al., il étend l’évaluation anglophone MIEB à des jeux de retrieval multilingues.

Son périmètre couvre notamment la classification, le clustering, le retrieval, la compositionnalité, la compréhension de documents et le STS visuel. Cette diversité permet de comparer la capacité des modèles à produire des représentations utiles pour plusieurs usages de vision et de recherche sémantique.

Carte d'identité

Classement des modèles (40)

Classement établi sur 40 modèles évalués, dont 11 de grands éditeurs. Score médian de l'ensemble : 50,4 %.

Notre analyse

Un score élevé indique qu’un modèle produit des embeddings performants sur un ensemble varié de tâches image et image-texte, dans de nombreuses langues. Il synthétise toutefois des métriques propres à chaque catégorie, notamment la classification zero-shot, le linear probing, le clustering, le retrieval et le STS visuel. Il doit donc être interprété comme une mesure agrégée de polyvalence plutôt que comme une garantie uniforme sur chaque usage ou chaque langue.

La fiabilité du classement appelle une certaine prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que tous issus d’une mesure indépendante. Dans la base, jinaai/jina-embeddings-v5-omni-small atteint 65 %, contre une médiane de 50 % parmi les 40 modèles évalués. Cet écart montre que le benchmark conserve un pouvoir de différenciation et ne paraît pas entièrement saturé au sommet. Sa portée reste centrée sur la qualité des embeddings visuels multilingues couverte par ses 130 tâches. Le classement compare donc cette aptitude spécifique, sans constituer une mesure générale de toutes les capacités d’un modèle d’IA.

Sources des scores : mteb.