PinchBench : agentique (OpenClaw, 147 tâches) est un benchmark public et open source créé par Kilo Code. Il évalue des modèles LLM dans un cadre d’agents de code OpenClaw, avec des tâches réelles impliquant l’usage d’outils, la planification, la recherche, la gestion de fichiers et…

LiveBench: Reasoning est la catégorie consacrée au raisonnement dans LiveBench, un benchmark public pour LLM créé par l’équipe LiveBench, associant notamment Abacus.AI et NYU. Publié en 2024, il vise à limiter la contamination en renouvelant régulièrement ses tâches.

LiveBench: IF est la catégorie « instruction following » de LiveBench, un benchmark créé par Abacus.AI, NYU et NVIDIA autour des travaux de Colin White et al. Il évalue la capacité des modèles à respecter précisément des consignes, à partir de tâches durcies et sans contamination issues…

LiveBench: Mathematics est la catégorie mathématique de LiveBench, un benchmark publié en 2024 par l’équipe LiveBench, réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Il évalue la capacité des modèles d’IA à résoudre des…

LiveBench: Language est la catégorie consacrée à la compréhension du langage au sein de LiveBench, un benchmark créé par l’équipe LiveBench réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California.

LiveBench: Global average est un benchmark public conçu par la LiveBench team / Abacus.AI pour évaluer les capacités générales des modèles de langage. Sa particularité est d’être dynamique, avec l’ajout régulier de questions récentes afin de réduire le risque de contamination des données…

LiveBench: Data Analysis est une catégorie du benchmark LiveBench consacrée à l’évaluation des capacités d’analyse de données des modèles d’IA. Créé par l’équipe LiveBench associant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California, il…