LiveBench 20241125 est un benchmark public conçu par Abacus.AI, NYU et NVIDIA, avec Colin White, Samuel Dooley et leurs coauteurs. Il vise à limiter la contamination des jeux de test grâce à des questions renouvelées mensuellement, issues de sources récemment publiées.

LiveBench: Reasoning est la catégorie consacrée au raisonnement au sein de LiveBench, un benchmark pour grands modèles de langage créé par l’équipe LiveBench, réunissant notamment Abacus.AI et NYU. Renouvelé chaque mois afin de limiter la contamination, il repose sur des énigmes en…

LiveBench: Mathematics est la catégorie consacrée aux mathématiques de LiveBench, créée par l’équipe réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Elle s’appuie sur des compétitions mathématiques récentes afin de limiter…

LiveBench: Language est la catégorie consacrée à la compréhension du langage au sein de LiveBench, créé par l’équipe réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Publié en 2024, il mobilise notamment des articles et des…

LiveBench: IF est la catégorie consacrée au suivi d’instructions au sein de LiveBench, un benchmark créé par les auteurs de LiveBench, Colin White et al., avec Abacus.AI, NYU et NVIDIA. Publié en 2024, il repose sur une version durcie et sans contamination d’IFEval.

LiveBench: Global average est un benchmark dynamique créé en 2024 par la LiveBench team et Abacus.AI. Il évalue les capacités générales des modèles de langage à partir de tâches récentes et variées, renouvelées régulièrement afin de limiter la contamination par les données d’entraînement.

LiveBench: Coding est la catégorie consacrée au code de LiveBench, créée par l’équipe réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Elle repose sur des problèmes récents issus de concours de programmation afin de limiter…

LiveBench: Data Analysis est la catégorie de LiveBench consacrée à l’analyse de données. Créée en 2024 par l’équipe LiveBench, réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California, elle s’appuie sur des jeux de données récents.

LiveBench: Agentic Coding est une catégorie de LiveBench ajoutée en 2025 par l’équipe réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Elle évalue le codage agentique au moyen de tâches réalisées sur plusieurs tours dans un…

LiveBench est un benchmark généraliste créé en 2024 par l’équipe LiveBench, réunissant notamment Abacus.AI, NYU et Colin White. Il évalue les modèles de langage sur des tâches de mathématiques, de code, de raisonnement, de langue, d’analyse de données et de suivi d’instructions.