Image-Text, English

MTEB: Image-Text, English est un benchmark consacré à la qualité des embeddings d’images et d’ensembles image-texte en anglais. Il a été créé par MTEB / embeddings-benchmark, dans le cadre des travaux de l’équipe MIEB menée par Chenghao Xiao, Isaac Chung et leurs collaborateurs.

Son évaluation couvre plusieurs usages complémentaires, notamment la classification zero-shot et par linear probing, le clustering, le retrieval, la compositionnalité, la compréhension de documents, le STS visuel et des tâches centrées sur la vision. Cette diversité permet de comparer la polyvalence des modèles d’embeddings au-delà d’un scénario unique.

Carte d'identité

Classement des modèles (40)

Classement établi sur 40 modèles évalués, dont 11 de grands éditeurs. Score médian de l'ensemble : 54,1 %.

Notre analyse

Un score élevé indique qu’un modèle produit des représentations efficaces sur un ensemble varié de tâches visuelles et multimodales en anglais. Il reflète donc une qualité globale, combinant notamment classification, regroupement, recherche et mesure de similarité, plutôt qu’une aptitude isolée.

La lecture du classement exige toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs. Leur niveau de contrôle n’est donc pas équivalent à celui de résultats systématiquement mesurés de manière indépendante. La contamination constitue également un point de vigilance pour un benchmark public, tandis que sa portée reste circonscrite aux embeddings d’images et image-texte en anglais.

Parmi les 40 modèles évalués dans la base, jinaai/jina-embeddings-v5-omni-small arrive en tête avec 65 %, contre une médiane de 54 %. Cet écart de 11 points met en évidence une avance mesurable du meilleur modèle sur le centre de la distribution. Le score maximal observé reste éloigné d’un plafond parfait, ce qui ne suggère pas une saturation complète du benchmark. Le classement renseigne surtout sur la polyvalence relative des modèles dans le périmètre précis de MTEB: Image-Text, English.

Sources des scores : mteb.