SmartScripto Admin

CharadesSTA

CharadesSTA est un benchmark de localisation temporelle d’activités dans des vidéos à partir de requêtes en langage naturel. Créé par Jiyang Gao, Chen Sun, Zhenheng Yang et Ram Nevatia, il étend Charades avec des annotations reliant des phrases descriptives à des segments vidéo…

MultiPL-E

MultiPL-E est un système conçu par F. Cassano et ses coauteurs pour étendre des benchmarks de génération de code à de nombreux langages de programmation. Il traduit des tâches fondées sur des tests unitaires afin de comparer les modèles au-delà du seul Python.

Claw-Eval

Claw-Eval est un benchmark conçu par Bowen Ye et ses coauteurs de l’Université de Pékin et de l’Université de Hong Kong pour évaluer des agents autonomes dans des scénarios réalistes, complexes et composés de plusieurs étapes.

LiveBench 20241125

LiveBench 20241125 est un benchmark public conçu par Abacus.AI, NYU et NVIDIA, avec Colin White, Samuel Dooley et leurs coauteurs. Il vise à limiter la contamination des jeux de test grâce à des questions renouvelées mensuellement, issues de sources récemment publiées.

WritingBench

WritingBench est un benchmark bilingue consacré aux capacités de rédaction générative des grands modèles de langage. Publié en 2025 par Alibaba Group, via Tongyi Lab, avec des collaborateurs de Renmin University et de SJTU, il couvre des productions créatives, persuasives, informatives…

ODinW

ODinW, pour Object Detection in the Wild, est un benchmark publié par Microsoft en 2021 par l’équipe GLIP, notamment Liunian Harold Li et Pengchuan Zhang. Il évalue la capacité de modèles de détection d’objets à transférer leurs acquis vers des jeux de données réels diversifiés.

BEIR-NL

MTEB: BEIR-NL est un benchmark public consacré à la recherche d’information zero-shot en néerlandais. Publié en 2024 par Banar, Lotfi et Daelemans, du CLiPS à l’Université d’Anvers, il repose sur une traduction automatique de la suite de tâches BEIR initialement conçue en anglais.