MVEB

MTEB: MVEB est un benchmark public du projet MTEB / embeddings-benchmark, créé par El Assadi, Solomatin, Muennighoff, Enevoldsen et leurs collaborateurs. Il évalue la qualité des embeddings vidéo audio-visuels, c’est-à-dire la représentation conjointe des informations visuelles et sonores par les modèles.

Son périmètre couvre le retrieval, la classification, le clustering, la pair classification, la classification zero-shot et la QA centrée sur la vidéo. La sélection des tâches vise une large couverture des entrées combinant audio et vidéo, afin de comparer les modèles sur plusieurs usages complémentaires.

Carte d'identité

Classement des modèles (15)

Classement établi sur 15 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 52,9 %.

Notre analyse

Un score élevé indique une meilleure qualité agrégée des embeddings sur les différentes familles de tâches, selon une métrique adaptée à chacune. Il reflète donc une performance transversale plutôt qu’une aptitude isolée. La médiane de 53 % et le meilleur résultat de 58 %, obtenu par LCO-Embedding/LCO-Embedding-Omni-7B, montrent un écart limité de cinq points entre le centre du groupe et la première place. Cette proximité peut signaler une différenciation modérée du classement, mais ne suffit pas, à elle seule, à établir une saturation du benchmark.

La rigueur comparative doit être appréciée avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que tous issus d’une mesure indépendante uniforme. Le caractère public du benchmark crée aussi un risque d’exposition des tâches, susceptible de favoriser une adaptation ciblée et de réduire la portée du classement comme mesure de généralisation. Enfin, son champ reste centré sur les embeddings audio-visuels et sur des tâches principalement en anglais. Parmi les 16 modèles recensés, le classement distingue LCO-Embedding/LCO-Embedding-Omni-7B, tout en faisant apparaître un ensemble de performances relativement resserré.

Sources des scores : mteb.