SmartScripto Admin

MMT-Bench

MMT-Bench est un benchmark multimodal créé en 2024 par OpenGVLab, au sein du Shanghai AI Laboratory, avec d’autres contributeurs. Il évalue des modèles vision-langage au moyen de questions visuelles à choix unique couvrant de nombreux contextes multimodaux.

MMMUval

MMMUval est le jeu de validation du benchmark MMMU, créé par Xiang Yue et ses coauteurs en 2023. Il évalue la compréhension multimodale et le raisonnement délibéré à partir de problèmes de niveau universitaire, combinant questions à choix multiple, réponses courtes et entrées multimodales.

LingoQA

Créé par Wayve en 2024, LingoQA est un benchmark consacré à la compréhension visuelle et linguistique appliquée à la conduite autonome. Il repose sur des questions à réponse libre portant sur des séquences vidéo de conduite.

Hypersim

Hypersim est un benchmark de vision créé par Apple en 2021 pour évaluer la compréhension holistique de scènes intérieures synthétiques photoréalistes. Il soumet les modèles à des tâches portant sur la profondeur, la géométrie 3D, la segmentation d’instances et le grounding spatial.

AlignBench

AlignBench est un benchmark conçu en 2023 par THUDM, Tsinghua University et plusieurs collaborateurs pour évaluer l’alignement des grands modèles de langage en chinois. Il repose sur des requêtes ouvertes issues de situations réelles, accompagnées de réponses de référence vérifiées par…

Aider

Aider est un benchmark d’édition de code créé en 2023 par Aider-AI, sous l’impulsion de Paul Gauthier. Fondé sur des exercices issus du dépôt Python d’Exercism, il évalue la transformation de consignes de programmation en anglais en code Python exécutable.

Kwaipilot: KAT-Coder-Air V2.5

Kwaipilot: KAT-Coder-Air V2.5 est un LLM de kwaipilot, sorti le 10 juillet 2026. Il se distingue par une fenêtre de contexte de 256 000 tokens et par un positionnement tarifaire très économique.