VBench: Qualité d'image
VBench: Qualité d'image est une dimension de la suite publique VBench, créée par Vchitect et al. pour évaluer les modèles de génération vidéo à partir de prompts textuels en anglais.
VBench: Qualité d'image est une dimension de la suite publique VBench, créée par Vchitect et al. pour évaluer les modèles de génération vidéo à partir de prompts textuels en anglais.
Cette dimension examine automatiquement la qualité visuelle des vidéos image par image. Elle prend notamment en compte la netteté, le bruit, les artefacts et la fidélité perceptuelle globale, afin de fournir un repère comparable sur la qualité d’image produite par différents modèles.
Carte d'identité
| Caractéristique | Valeur |
|---|---|
| Éditeur du benchmark | Vchitect et al. |
| Capacités mesurées | Mesure la qualité visuelle image par image des vidéos générées, notamment la netteté, les artefacts, le bruit et la fidélité perceptuelle globale. |
| Modalité | Vidéo |
| Type de questions | prompts textuels pour génération vidéo, évalués automatiquement sur les vidéos produites |
| Métrique d'évaluation | score moyen normalisé de qualité d’image, basé sur une métrique d’IQA sans référence de type MUSIQ |
| Accès | Public |
| Langues | anglais |
| Taille du jeu | environ 946 prompts dans la suite VBench complète |
| Année de publication | 2023 |
| Ressources | Site / dépôt officiel · Article scientifique |
Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.
Classement des modèles (62)
| # | Modèle | Éditeur | Licence | Score | Sortie | Fiabilité |
|---|---|---|---|---|---|---|
| 1 | Wan2.2-T2V-A14B | Qwen | ▫ n.d. | 71,7 % | 18 février 2026 | ✅ Mesuré |
| 2 | Step-Video-T2V | — | ▫ n.d. | 70,6 % | 13 mars 2025 | ✅ Mesuré |
| 3 | AnimateDiff-V1 | — | ▫ n.d. | 70,6 % | 2 août 2024 | ✅ Mesuré |
| 4 | AnimateDiff-V2 | — | ▫ n.d. | 70,1 % | 3 juin 2024 | ✅ Mesuré |
| 5 | JT3.5 | — | ▫ n.d. | 70,1 % | 30 juillet 2025 | ✅ Mesuré |
| 6 | Kling 1.6 | Kuaishou | 🔒 Propriétaire | 69,7 % | 8 mai 2025 | ✅ Mesuré |
| 7 | CausVid | — | ▫ n.d. | 69,7 % | 2 janvier 2025 | ✅ Mesuré |
| 8 | Wan2.1-T2V-14B | Qwen | ▫ n.d. | 69,4 % | 25 juillet 2025 | ✅ Mesuré |
| 9 | Vidu Q1 | Shengshu | ▫ n.d. | 69,1 % | 21 avril 2025 | ✅ Mesuré |
| 10 | IPOW | — | ▫ n.d. | 68,9 % | 6 août 2025 | ✅ Mesuré |
| 11 | EasyAnimateV5.1 | — | ▫ n.d. | 68,6 % | 22 janvier 2025 | ✅ Mesuré |
| 12 | IPOC | — | ▫ n.d. | 68,4 % | 14 avril 2025 | ✅ Mesuré |
| 13 | sora | OpenAI | 🔒 Propriétaire | 68,3 % | 15 février 2024 | ✅ Mesuré |
| 14 | veo-3 | ▫ n.d. | 68,2 % | 21 mai 2025 | ✅ Mesuré | |
| 15 | InstructVideo | — | ▫ n.d. | 68,0 % | 9 juillet 2024 | ✅ Mesuré |
| 16 | Hunyuan Video | Tencent | ▫ n.d. | 67,6 % | 22 mai 2025 | ✅ Mesuré |
| 17 | LTX-2 | Lightricks | ▫ n.d. | 67,5 % | 4 février 2026 | ✅ Mesuré |
| 18 | Gen-2 | Runway | 🔒 Propriétaire | 67,4 % | 20 mars 2023 | ✅ Mesuré |
| 19 | Wan2.1 | Qwen | ▫ n.d. | 67,3 % | 24 février 2025 | ✅ Mesuré |
| 20 | VideoCrafter-2.0 | — | ▫ n.d. | 67,2 % | 19 avril 2024 | ✅ Mesuré |
| 21 | MiniMax-Video-01 | MiniMax | ▫ n.d. | 67,2 % | 1 octobre 2024 | ✅ Mesuré |
| 22 | Jimeng | — | ▫ n.d. | 67,1 % | 15 novembre 2024 | ✅ Mesuré |
| 23 | Wan2.1-T2V-1.3B | Qwen | ▫ n.d. | 67,0 % | 13 mars 2025 | ✅ Mesuré |
| 24 | Gen-3 | Runway | 🔒 Propriétaire | 66,8 % | 25 juillet 2024 | ✅ Mesuré |
| 25 | AnimateLCM | — | ▫ n.d. | 66,7 % | 28 juin 2024 | ✅ Mesuré |
| 26 | Luma | Luma AI | 🔒 Propriétaire | 66,5 % | 14 janvier 2025 | ✅ Mesuré |
| 27 | LanDiff | — | ▫ n.d. | 65,8 % | 6 août 2025 | ✅ Mesuré |
| 28 | OpenSoraPlan V1.2 | HPC-AI Tech | ▫ n.d. | 65,7 % | 29 octobre 2024 | ✅ Mesuré |
| 29 | MiracleVision V5 | — | ▫ n.d. | 65,7 % | 21 janvier 2025 | ✅ Mesuré |
| 30 | AccVideo | — | ▫ n.d. | 65,7 % | 31 mars 2025 | ✅ Mesuré |
| 31 | Kling | Kuaishou | 🔒 Propriétaire | 65,6 % | 1 août 2024 | ✅ Mesuré |
| 32 | Open-Sora-2.0 | HPC-AI Tech | ▫ n.d. | 65,6 % | 31 mars 2025 | ✅ Mesuré |
| 33 | Vchitect-2.0-2B | — | ▫ n.d. | 65,6 % | 16 septembre 2024 | ✅ Mesuré |
| 34 | VideoCrafter-1.0 | — | ▫ n.d. | 65,5 % | 19 janvier 2024 | ✅ Mesuré |
| 35 | STIV | — | ▫ n.d. | 65,4 % | 19 décembre 2024 | ✅ Mesuré |
| 36 | Vchitect-2.0 | — | ▫ n.d. | 65,3 % | 20 septembre 2024 | ✅ Mesuré |
| 37 | CogVideoX1.5-5B | Zhipu AI | ▫ n.d. | 65,3 % | 15 novembre 2024 | ✅ Mesuré |
| 38 | MAGI-T2V-24B-distill | — | ▫ n.d. | 65,3 % | 6 août 2025 | ✅ Mesuré |
| 39 | TF-T2V | — | ▫ n.d. | 64,8 % | 20 juin 2024 | ✅ Mesuré |
| 40 | HiGen | — | ▫ n.d. | 63,9 % | 20 juin 2024 | ✅ Mesuré |
| 41 | OpenSora V1.2 | HPC-AI Tech | ▫ n.d. | 63,3 % | 2 septembre 2024 | ✅ Mesuré |
| 42 | Vidu | Shengshu | ▫ n.d. | 63,3 % | 15 novembre 2024 | ✅ Mesuré |
| 43 | RepVideo | — | ▫ n.d. | 63,2 % | 16 janvier 2025 | ✅ Mesuré |
| 44 | CogVideoX-5B | Zhipu AI | ▫ n.d. | 62,9 % | 4 mars 2025 | ✅ Mesuré |
| 45 | Pika Beta | Pika Labs | 🔒 Propriétaire | 62,3 % | 19 janvier 2024 | ✅ Mesuré |
| 46 | OpenSoraPlan V1.1 | HPC-AI Tech | ▫ n.d. | 62,3 % | 17 juillet 2024 | ✅ Mesuré |
| 47 | Latte-1 | — | ▫ n.d. | 61,9 % | 5 juin 2024 | ✅ Mesuré |
| 48 | LaVie | — | ▫ n.d. | 61,9 % | 23 novembre 2023 | ✅ Mesuré |
| 49 | Pika-1.0 | Pika Labs | 🔒 Propriétaire | 61,9 % | 29 juillet 2024 | ✅ Mesuré |
| 50 | CogVideoX-2B | Zhipu AI | ▫ n.d. | 61,7 % | 3 mars 2025 | ✅ Mesuré |
| 51 | Open-Sora | HPC-AI Tech | ▫ n.d. | 61,5 % | 20 avril 2024 | ✅ Mesuré |
| 52 | MAGI-T2V-4.5B-distill | — | ▫ n.d. | 61,2 % | 10 juin 2025 | ✅ Mesuré |
| 53 | Mochi-1 | Genmo | ▫ n.d. | 60,6 % | 7 novembre 2024 | ✅ Mesuré |
| 54 | LTX-Video | Lightricks | ▫ n.d. | 60,3 % | 2 décembre 2024 | ✅ Mesuré |
| 55 | Mira | — | ▫ n.d. | 60,2 % | 17 juillet 2024 | ✅ Mesuré |
| 56 | LaVie-Interpolation | — | ▫ n.d. | 59,8 % | 17 février 2024 | ✅ Mesuré |
| 57 | Show-1 | — | ▫ n.d. | 58,7 % | 19 janvier 2024 | ✅ Mesuré |
| 58 | ModelScope | — | ▫ n.d. | 58,6 % | 23 novembre 2023 | ✅ Mesuré |
| 59 | VideoCrafter-0.9 | — | ▫ n.d. | 57,2 % | 23 novembre 2023 | ✅ Mesuré |
| 60 | OpenSoraPlan V1.3 | HPC-AI Tech | ▫ n.d. | 56,2 % | 7 novembre 2024 | ✅ Mesuré |
| 61 | OpenSora V1.1 | HPC-AI Tech | ▫ n.d. | 54,9 % | 17 juillet 2024 | ✅ Mesuré |
| 62 | CogVideo | Zhipu AI | ▫ n.d. | 41,0 % | 23 novembre 2023 | ✅ Mesuré |
Classement établi sur 62 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 65,6 %.
Notre analyse
Un score élevé indique que les images composant les vidéos sont jugées plus nettes, moins bruitées, moins affectées par des artefacts et globalement plus fidèles sur le plan perceptuel. Le score moyen normalisé repose sur une métrique d’IQA sans référence de type MUSIQ. L’évaluation est donc automatique plutôt qu’auto-déclarée, et les résultats de la base ont été au moins partiellement mesurés par un tiers, ce qui renforce leur valeur comparative. Le classement place Wan2.2-T2V-A14B (Qwen) en tête à 72 %, contre une médiane de 66 % parmi 62 modèles. Cet écart relativement resserré peut signaler un pouvoir de discrimination limité lorsque les systèmes approchent le haut de l’échelle, avec un risque de saturation. La portée reste ciblée sur la qualité visuelle image par image et ne résume pas, à elle seule, toutes les dimensions de la génération vidéo couvertes par VBench. Enfin, le caractère public de la suite et de ses prompts invite à considérer un possible effet de familiarisation lors de l’interprétation des résultats.
Sources des scores : vbench.