SmartScripto Admin

Multi-IF

Multi-IF est un benchmark créé en 2024 par Meta GenAI pour évaluer la capacité des grands modèles de langage à suivre des instructions dans des dialogues multilingues à plusieurs tours. Il prolonge IFEval en ajoutant des séquences conversationnelles et des traductions de prompts anglais.

MathVision

MathVision est un benchmark créé en 2024 par l’équipe MATH-Vision (mathllm) pour évaluer le raisonnement mathématique multimodal. Il réunit des problèmes dont la résolution exige de combiner la compréhension d’éléments visuels avec des opérations de raisonnement mathématique.

VBench: Total

VBench: Total est une suite publique d’évaluation conçue en 2023 par Vchitect, Shanghai AI Laboratory et d’autres contributeurs. Elle cible les modèles génératifs vidéo, en particulier les systèmes de texte vers vidéo, à partir de prompts en anglais.

VBench: Stabilité temporelle

VBench: Stabilité temporelle est une dimension de la suite publique VBench, créée par Vchitect et Huang et al. pour évaluer les modèles de génération vidéo. Elle examine automatiquement la cohérence visuelle entre les images successives d’une vidéo produite à partir de prompts textuels…

VBench: Cohérence du sujet

VBench: Cohérence du sujet est une dimension de la suite VBench, créée par Vchitect et al. pour évaluer les modèles de génération vidéo. Elle examine automatiquement des vidéos produites à partir de prompts textuels en anglais.

VBench: Respect du prompt

VBench: Respect du prompt est un benchmark public conçu par OpenGVLab, Shanghai AI Laboratory et d’autres contributeurs pour évaluer les modèles de génération vidéo. Il appartient à VBench, une suite organisée autour de plusieurs dimensions de qualité visuelle et de fidélité aux…

VBench: Qualité visuelle

VBench: Qualité visuelle est un benchmark conçu par Vchitect et al. pour évaluer les modèles de génération vidéo à partir de prompts textuels en anglais. Il s’inscrit dans une suite structurée en dimensions fines, consacrées à la qualité visuelle et à l’alignement sémantique.