Image-Text, Lite

MTEB: Image-Text, Lite est un benchmark multilingue consacré à la qualité des embeddings d’images et de paires image-texte. Créé par MTEB / embeddings-benchmark avec l’équipe MIEB de Chenghao Xiao, Isaac Chung et leurs coauteurs, il reprend les types de tâches de MIEB(Multilingual) dans un format allégé.

Le benchmark évalue les représentations produites pour la recherche, la classification, le clustering et la similarité sémantique. Son objectif est de comparer les modèles à coût réduit tout en préservant leur classement relatif, ce qui facilite une évaluation plus accessible des performances multilingues.

Carte d'identité

Classement des modèles (49)

Classement établi sur 49 modèles évalués, dont 11 de grands éditeurs. Score médian de l'ensemble : 47,6 %.

Notre analyse

Un score élevé indique qu’un modèle produit des embeddings efficaces sur l’ensemble des tâches couvertes, selon les métriques propres à la recherche, à la classification, au clustering et à la similarité sémantique. Le meilleur résultat recensé, 69 % pour LCO-Embedding/LCO-Embedding-Omni-7B, contre une médiane de 48 %, révèle un avantage net sur le modèle médian et ne suggère pas une saturation complète du classement.

La lecture reste toutefois prudente, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant unique. L’accès public appelle aussi à considérer un risque de contamination lors de l’entraînement ou de l’optimisation des modèles, sans l’assimiler à un fait établi pour les résultats recensés. La portée est volontairement limitée à un sous-ensemble multilingue allégé de MIEB, composé de 51 tâches et consommant environ 18 % des GPU-heures de la version complète. Le classement renseigne donc surtout sur la qualité relative des embeddings dans ce cadre précis, avec un compromis explicite entre coût d’évaluation et fidélité du classement.

Sources des scores : mteb.