LiveCodeBench est un benchmark d’évaluation des modèles de langage pour le code, publié en 2024 par Naman Jain et al. Il vise à mesurer la capacité des modèles à résoudre des problèmes de programmation récents, avec un accent sur la génération de code correct, la réparation, le…

HumanEval est un benchmark créé par OpenAI pour évaluer la génération de code à partir de descriptions en langage naturel. Il mesure la capacité d’un modèle à comprendre une docstring en anglais et à produire une fonction Python correcte, avec un accent sur la justesse fonctionnelle…

FrontierSWE est un benchmark de Proximal, aussi connu sous le nom Proximal-Labs, conçu pour évaluer des agents d’IA sur des projets techniques ouverts de très longue durée. Il cible des tâches d’ingénierie qui dépassent les simples exercices de programmation, avec des travaux pouvant…

CyberGym est un benchmark de cybersécurité conçu par UC Berkeley, avec Dawn Song et ses coauteurs, pour évaluer des agents IA sur des tâches liées à des vulnérabilités logicielles réelles. Il met l’accent sur la capacité à comprendre une description de faille, analyser du code et…

Codegolf v2.2 est un benchmark de code golf multimodal consacré à la reproduction d’une cible visuelle avec le code le plus court possible. Créé par Andreas Ebner dans le cadre du projet ClawBattle / beowolve, il s’inscrit dans la lignée d’épreuves de type CSSBattle, où la qualité du…

Claw-Eval est un benchmark consacré à l’évaluation d’agents autonomes dans des tâches agentiques end-to-end, complexes et multi-étapes. Créé par Bowen Ye et al., de l’Université de Pékin et de l’Université de Hong Kong, il vise à mesurer la capacité d’un modèle à utiliser des outils,…

Aider-Polyglot Edit est un benchmark de programmation multilingue publié en 2024 par Aider-AI, sous l’impulsion de Paul Gauthier. Il évalue la capacité des modèles à modifier du code existant, à corriger leurs erreurs et à résoudre des exercices dans plusieurs langages, avec un retour de…