SmartScripto Admin

OJBench

OJBench est un benchmark de raisonnement de code de niveau compétition, créé par BUPT et Moonshot AI. Il soumet les modèles à des problèmes issus de la programmation compétitive, dont les solutions générées en Python ou en C++ sont vérifiées par un juge en ligne.

DeepPlanning

DeepPlanning est un benchmark public créé en 2026 par la Qwen Team d’Alibaba, notamment Junyang Lin et ses coauteurs. Il évalue des modèles de langage sur des tâches agentiques complexes nécessitant une planification en plusieurs étapes et un raisonnement à long horizon.

VITA-Bench

VITA-Bench est un benchmark créé par Meituan LongCat pour évaluer l’automatisation de tâches virtuelles inspirées de situations réelles. Il confronte des agents d’IA à des parcours interactifs en plusieurs étapes, qui nécessitent des appels d’outils dans un environnement simulé.

VideoMME w/o sub.

Créé en 2024 par Chaoyou Fu et ses coauteurs, VideoMME w/o sub. est un benchmark consacré à l’évaluation de la compréhension vidéo par les modèles vision-langage. Il repose sur des QCM portant sur des contenus vidéo variés.

Polish

MTEB: Polish est un benchmark consacré à l’évaluation des plongements de texte en polonais. Créé par la communauté MTEB/MMTEB à partir de PL-MTEB, développé par Rafal Poswiata et ses coauteurs à l’OPI-PIB, il associe des jeux communautaires adaptés au corpus de littérature scientifique…

MLVU

MLVU est un benchmark conçu par les auteurs MLVU, associés au dépôt JUNJIE99 de Junjie Zhou. Publié en 2024, il évalue la compréhension multimodale de vidéos longues à travers des contenus et des tâches variés.

OCRBench-V2 (zh)

OCRBench-V2 (zh) est le sous-ensemble chinois d’un benchmark consacré à l’évaluation des grands modèles multimodaux face au texte présent dans les images. Il a été créé par la Huazhong University of Science and Technology, la South China University of Technology, l’University of Adelaide…