SmartScripto Admin

LiveBench: Mathematics est la catégorie consacrée aux mathématiques de LiveBench, créée par l’équipe réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Elle s’appuie sur des compétitions mathématiques récentes afin de limiter…

LiveBench: Language est la catégorie consacrée à la compréhension du langage au sein de LiveBench, créé par l’équipe réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Publié en 2024, il mobilise notamment des articles et des…

LiveBench: IF est la catégorie consacrée au suivi d’instructions au sein de LiveBench, un benchmark créé par les auteurs de LiveBench, Colin White et al., avec Abacus.AI, NYU et NVIDIA. Publié en 2024, il repose sur une version durcie et sans contamination d’IFEval.

LiveBench: Global average est un benchmark dynamique créé en 2024 par la LiveBench team et Abacus.AI. Il évalue les capacités générales des modèles de langage à partir de tâches récentes et variées, renouvelées régulièrement afin de limiter la contamination par les données d’entraînement.

LiveBench: Coding est la catégorie consacrée au code de LiveBench, créée par l’équipe réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Elle repose sur des problèmes récents issus de concours de programmation afin de limiter…

LiveBench: Data Analysis est la catégorie de LiveBench consacrée à l’analyse de données. Créée en 2024 par l’équipe LiveBench, réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California, elle s’appuie sur des jeux de données récents.