LVBench

LVBench est un benchmark de compréhension de vidéos extrêmement longues, créé en 2024 par Zhipu AI (Z.ai) et Tsinghua University. Il évalue des modèles multimodaux sur des vidéos pouvant atteindre environ deux heures, à travers des questions à choix multiples en anglais.

Son objectif est de tester conjointement la vision, le traitement d’un long contexte, la mémoire à long terme et l’extraction d’informations. Il sert ainsi à comparer la capacité des modèles à conserver et mobiliser des éléments pertinents dans des contenus vidéo bien plus longs que ceux des jeux de données habituels.

Carte d'identité

Classement des modèles (23)

Classement établi sur 23 modèles évalués, dont 2 de grands éditeurs. Score médian de l'ensemble : 62,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur LVBench indique une meilleure exactitude aux QCM portant sur des vidéos longues. Il traduit donc une capacité accrue à repérer, mémoriser et relier des informations réparties dans un contexte multimodal étendu. Dans la base, Seed 2.1 Pro arrive en tête avec 78 %, tandis que la médiane des 23 modèles évalués atteint 63 %. Cet écart montre une hiérarchie encore visible entre les systèmes et ne suggère pas une saturation complète du benchmark.

La lecture du classement doit toutefois rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant unique. L’accès public peut aussi accroître le risque qu’un benchmark soit intégré, directement ou indirectement, aux données ou aux pratiques d’optimisation des modèles. Enfin, la portée de LVBench reste ciblée : il mesure l’exactitude sur des QCM en anglais consacrés à la compréhension de vidéos longues. Le classement renseigne donc sur cette aptitude précise, sans constituer une mesure générale de toutes les capacités multimodales.

Sources des scores : llm-stats.