MVEB Video-Only

MTEB: MVEB Video-Only est un benchmark créé par MTEB (embeddings-benchmark), avec El Assadi, Solomatin, Muennighoff, Enevoldsen et leurs coauteurs. Il évalue la qualité des embeddings vidéo produits par des encodeurs dépourvus de composant textuel.

L’évaluation couvre des tâches de classification et de pair classification issues du sous-ensemble vidéo seul de MVEB. En excluant la recherche d’information, les questions-réponses et les tâches zero-shot, qui nécessitent un encodeur de texte, ce benchmark sert à comparer plus spécifiquement la capacité des modèles à représenter le contenu vidéo.

Carte d'identité

Classement des modèles (32)

Classement établi sur 32 modèles évalués, dont 15 de grands éditeurs. Score médian de l'ensemble : 55,2 %.

Notre analyse

Un score élevé indique que les embeddings vidéo permettent de mieux réussir les tâches de classification et de pair classification retenues, selon la métrique propre à chacune, notamment l’accuracy. Le classement place Qwen/Qwen3-VL-Embedding-8B en tête à 64 %, contre une médiane de 55 % parmi les 33 modèles évalués dans la base. Cet écart montre un avantage mesurable du premier modèle sur le niveau central de l’ensemble, sans résumer à lui seul les performances tâche par tâche.

La rigueur de la comparaison doit être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans un cadre de mesure uniforme par un tiers. Le caractère public du benchmark invite aussi à garder à l’esprit le risque de contamination dans l’interprétation des résultats. La portée reste volontairement circonscrite aux encodeurs sans composant texte et aux usages vidéo de classification. Les tâches nécessitant du texte étant exclues, le classement ne mesure ni la recherche d’information, ni les questions-réponses, ni le zero-shot. La médiane et le meilleur score ne suffisent donc pas à conclure à une saturation générale du benchmark.

Sources des scores : mteb.