VBench: Qualité d'image

VBench: Qualité d'image est une dimension de la suite publique VBench, créée par Vchitect et al. pour évaluer les modèles de génération vidéo à partir de prompts textuels en anglais.

VBench: Qualité d'image est une dimension de la suite publique VBench, créée par Vchitect et al. pour évaluer les modèles de génération vidéo à partir de prompts textuels en anglais.

Cette dimension examine automatiquement la qualité visuelle des vidéos image par image. Elle prend notamment en compte la netteté, le bruit, les artefacts et la fidélité perceptuelle globale, afin de fournir un repère comparable sur la qualité d’image produite par différents modèles.

Carte d'identité

CaractéristiqueValeur
Éditeur du benchmarkVchitect et al.
Capacités mesuréesMesure la qualité visuelle image par image des vidéos générées, notamment la netteté, les artefacts, le bruit et la fidélité perceptuelle globale.
ModalitéVidéo
Type de questionsprompts textuels pour génération vidéo, évalués automatiquement sur les vidéos produites
Métrique d'évaluationscore moyen normalisé de qualité d’image, basé sur une métrique d’IQA sans référence de type MUSIQ
AccèsPublic
Languesanglais
Taille du jeuenviron 946 prompts dans la suite VBench complète
Année de publication2023
RessourcesSite / dépôt officiel · Article scientifique

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (62)

#ModèleÉditeurLicenceScoreSortieFiabilité
1Wan2.2-T2V-A14BQwen▫ n.d.71,7 %18 février 2026✅ Mesuré
2Step-Video-T2V▫ n.d.70,6 %13 mars 2025✅ Mesuré
3AnimateDiff-V1▫ n.d.70,6 %2 août 2024✅ Mesuré
4AnimateDiff-V2▫ n.d.70,1 %3 juin 2024✅ Mesuré
5JT3.5▫ n.d.70,1 %30 juillet 2025✅ Mesuré
6Kling 1.6Kuaishou🔒 Propriétaire69,7 %8 mai 2025✅ Mesuré
7CausVid▫ n.d.69,7 %2 janvier 2025✅ Mesuré
8Wan2.1-T2V-14BQwen▫ n.d.69,4 %25 juillet 2025✅ Mesuré
9Vidu Q1Shengshu▫ n.d.69,1 %21 avril 2025✅ Mesuré
10IPOW▫ n.d.68,9 %6 août 2025✅ Mesuré
11EasyAnimateV5.1▫ n.d.68,6 %22 janvier 2025✅ Mesuré
12IPOC▫ n.d.68,4 %14 avril 2025✅ Mesuré
13soraOpenAI🔒 Propriétaire68,3 %15 février 2024✅ Mesuré
14veo-3Google▫ n.d.68,2 %21 mai 2025✅ Mesuré
15InstructVideo▫ n.d.68,0 %9 juillet 2024✅ Mesuré
16Hunyuan VideoTencent▫ n.d.67,6 %22 mai 2025✅ Mesuré
17LTX-2Lightricks▫ n.d.67,5 %4 février 2026✅ Mesuré
18Gen-2Runway🔒 Propriétaire67,4 %20 mars 2023✅ Mesuré
19Wan2.1Qwen▫ n.d.67,3 %24 février 2025✅ Mesuré
20VideoCrafter-2.0▫ n.d.67,2 %19 avril 2024✅ Mesuré
21MiniMax-Video-01MiniMax▫ n.d.67,2 %1 octobre 2024✅ Mesuré
22Jimeng▫ n.d.67,1 %15 novembre 2024✅ Mesuré
23Wan2.1-T2V-1.3BQwen▫ n.d.67,0 %13 mars 2025✅ Mesuré
24Gen-3Runway🔒 Propriétaire66,8 %25 juillet 2024✅ Mesuré
25AnimateLCM▫ n.d.66,7 %28 juin 2024✅ Mesuré
26LumaLuma AI🔒 Propriétaire66,5 %14 janvier 2025✅ Mesuré
27LanDiff▫ n.d.65,8 %6 août 2025✅ Mesuré
28OpenSoraPlan V1.2HPC-AI Tech▫ n.d.65,7 %29 octobre 2024✅ Mesuré
29MiracleVision V5▫ n.d.65,7 %21 janvier 2025✅ Mesuré
30AccVideo▫ n.d.65,7 %31 mars 2025✅ Mesuré
31KlingKuaishou🔒 Propriétaire65,6 %1 août 2024✅ Mesuré
32Open-Sora-2.0HPC-AI Tech▫ n.d.65,6 %31 mars 2025✅ Mesuré
33Vchitect-2.0-2B▫ n.d.65,6 %16 septembre 2024✅ Mesuré
34VideoCrafter-1.0▫ n.d.65,5 %19 janvier 2024✅ Mesuré
35STIV▫ n.d.65,4 %19 décembre 2024✅ Mesuré
36Vchitect-2.0▫ n.d.65,3 %20 septembre 2024✅ Mesuré
37CogVideoX1.5-5BZhipu AI▫ n.d.65,3 %15 novembre 2024✅ Mesuré
38MAGI-T2V-24B-distill▫ n.d.65,3 %6 août 2025✅ Mesuré
39TF-T2V▫ n.d.64,8 %20 juin 2024✅ Mesuré
40HiGen▫ n.d.63,9 %20 juin 2024✅ Mesuré
41OpenSora V1.2HPC-AI Tech▫ n.d.63,3 %2 septembre 2024✅ Mesuré
42ViduShengshu▫ n.d.63,3 %15 novembre 2024✅ Mesuré
43RepVideo▫ n.d.63,2 %16 janvier 2025✅ Mesuré
44CogVideoX-5BZhipu AI▫ n.d.62,9 %4 mars 2025✅ Mesuré
45Pika BetaPika Labs🔒 Propriétaire62,3 %19 janvier 2024✅ Mesuré
46OpenSoraPlan V1.1HPC-AI Tech▫ n.d.62,3 %17 juillet 2024✅ Mesuré
47Latte-1▫ n.d.61,9 %5 juin 2024✅ Mesuré
48LaVie▫ n.d.61,9 %23 novembre 2023✅ Mesuré
49Pika-1.0Pika Labs🔒 Propriétaire61,9 %29 juillet 2024✅ Mesuré
50CogVideoX-2BZhipu AI▫ n.d.61,7 %3 mars 2025✅ Mesuré
51Open-SoraHPC-AI Tech▫ n.d.61,5 %20 avril 2024✅ Mesuré
52MAGI-T2V-4.5B-distill▫ n.d.61,2 %10 juin 2025✅ Mesuré
53Mochi-1Genmo▫ n.d.60,6 %7 novembre 2024✅ Mesuré
54LTX-VideoLightricks▫ n.d.60,3 %2 décembre 2024✅ Mesuré
55Mira▫ n.d.60,2 %17 juillet 2024✅ Mesuré
56LaVie-Interpolation▫ n.d.59,8 %17 février 2024✅ Mesuré
57Show-1▫ n.d.58,7 %19 janvier 2024✅ Mesuré
58ModelScope▫ n.d.58,6 %23 novembre 2023✅ Mesuré
59VideoCrafter-0.9▫ n.d.57,2 %23 novembre 2023✅ Mesuré
60OpenSoraPlan V1.3HPC-AI Tech▫ n.d.56,2 %7 novembre 2024✅ Mesuré
61OpenSora V1.1HPC-AI Tech▫ n.d.54,9 %17 juillet 2024✅ Mesuré
62CogVideoZhipu AI▫ n.d.41,0 %23 novembre 2023✅ Mesuré

Classement établi sur 62 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 65,6 %.

Notre analyse

Un score élevé indique que les images composant les vidéos sont jugées plus nettes, moins bruitées, moins affectées par des artefacts et globalement plus fidèles sur le plan perceptuel. Le score moyen normalisé repose sur une métrique d’IQA sans référence de type MUSIQ. L’évaluation est donc automatique plutôt qu’auto-déclarée, et les résultats de la base ont été au moins partiellement mesurés par un tiers, ce qui renforce leur valeur comparative. Le classement place Wan2.2-T2V-A14B (Qwen) en tête à 72 %, contre une médiane de 66 % parmi 62 modèles. Cet écart relativement resserré peut signaler un pouvoir de discrimination limité lorsque les systèmes approchent le haut de l’échelle, avec un risque de saturation. La portée reste ciblée sur la qualité visuelle image par image et ne résume pas, à elle seule, toutes les dimensions de la génération vidéo couvertes par VBench. Enfin, le caractère public de la suite et de ses prompts invite à considérer un possible effet de familiarisation lors de l’interprétation des résultats.


Sources des scores : vbench.