MLVU

MLVU est un benchmark conçu par les auteurs MLVU, associés au dépôt JUNJIE99 de Junjie Zhou. Publié en 2024, il évalue la compréhension multimodale de vidéos longues à travers des contenus et des tâches variés.

Son protocole combine raisonnement, reconnaissance, sous-titrage et résumé, avec des questions à choix multiple et des productions libres. MLVU sert ainsi à comparer la capacité des modèles à extraire, relier et restituer des informations sur des séquences pouvant s’étendre de quelques minutes à plusieurs heures.

Carte d'identité

Classement des modèles (10)

Classement établi sur 10 modèles évalués. Score médian de l'ensemble : 86,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MLVU traduit une bonne performance globale sur les tâches à réponse fixe, synthétisées par M-Avg, ainsi que sur les productions génératives évaluées par un modèle. Cette combinaison couvre plusieurs dimensions de la compréhension vidéo, mais elle associe une mesure de précision directe à une notation automatisée, dont l’interprétation dépend du modèle évaluateur. La fiabilité du classement appelle aussi à la prudence, car les scores disponibles sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un cadre indépendant uniforme.

Le faible écart entre la médiane de 86 % et le meilleur résultat, 87 % pour Qwen3.7-Plus, suggère une forte concentration des performances parmi les dix modèles recensés et une possible saturation du classement. L’accès public au jeu invite également à considérer le risque de contamination lors de l’interprétation des résultats. Enfin, la portée reste celle des neuf tâches retenues, de contenus en anglais et des genres couverts. Le classement révèle donc surtout des différences étroites sur ce protocole précis, sans autoriser une généralisation à toute compréhension vidéo.

Sources des scores : llm-stats.