MVEB Video-Text

MTEB: MVEB Video-Text est le sous-ensemble texte-vidéo de MVEB, créé par MTEB (embeddings-benchmark), El Assadi, Solomatin, Muennighoff, Enevoldsen et leurs coauteurs. Il évalue la qualité des représentations conjointes du texte et de la vidéo produites par des modèles dépourvus d’encodeur audio.

Le benchmark couvre plusieurs usages complémentaires, notamment la récupération, la classification, le clustering, la classification par paires ou zero-shot et les questions-réponses centrées sur la vidéo. Cette diversité permet de comparer la capacité des embeddings à soutenir différents traitements multimodaux.

Carte d'identité

Classement des modèles (23)

Classement établi sur 23 modèles évalués, dont 7 de grands éditeurs. Score médian de l'ensemble : 51,3 %.

Notre analyse

Un score élevé sur MTEB: MVEB Video-Text traduit des embeddings texte-vidéo plus efficaces sur l’ensemble des tâches considérées. Son interprétation doit toutefois tenir compte de métriques variables selon les épreuves, comme NDCG ou accuracy. La diversité des 23 tâches de MVEB renforce la couverture fonctionnelle, mais la portée reste centrée sur le texte et la vidéo, principalement en anglais, pour des modèles sans encodeur audio.

La rigueur du classement est limitée par l’origine des résultats, majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un cadre entièrement indépendant. L’accès public peut aussi favoriser une exposition préalable au benchmark ou une optimisation ciblée, ce qui invite à considérer le risque de contamination dans l’interprétation. Les résultats ne montrent pas de saturation complète: Qwen/Qwen3-VL-Embedding-8B atteint 61 %, tandis que la médiane des 24 modèles évalués se situe à 51 %. Le classement met ainsi en évidence un avantage du modèle de Qwen, mais aussi un écart encore contenu entre le meilleur score et le niveau médian.

Sources des scores : mteb.