FrontierCode 1.1 est un benchmark conçu pour évaluer des agents de programmation sur des tâches concrètes de modification de code au sein de dépôts logiciels. Les consignes demandent de comprendre une base de code, d’interpréter une demande de changement et de produire une solution…

DeepSWE 1.1 est un benchmark créé par Together AI et Agentica pour évaluer des agents d’ingénierie logicielle dans le harnais mini-swe-agent. Il examine leur aptitude à traiter des tâches concrètes de résolution de problèmes au sein de dépôts de code.

Program Bench est un benchmark créé par ses auteurs pour évaluer des agents de génération de code dans un contexte de rétro-ingénierie comportementale. Chaque agent doit recréer le fonctionnement d’un programme à partir de son binaire compilé et de sa documentation, sans disposer du code…

PostTrainBench est un benchmark consacré à l’évaluation de l’entraînement postérieur autonome. À partir de modèles de base uniquement préentraînés, un agent doit prendre en charge l’ensemble du processus, de la synthèse des données à l’entraînement, puis à l’évaluation et aux itérations,…

SkillsBench est un benchmark public créé par SkillsBench en 2026 pour évaluer les compétences pratiques d’ingénierie logicielle des agents de codage. Il repose sur des tâches de programmation autonomes, associées à des vérificateurs déterministes.

Multi-SWE-Bench est un benchmark publié en 2025 par l’équipe Seed de ByteDance, associée à Doubao. Il évalue la capacité des grands modèles de langage à résoudre des problèmes logiciels réels dans plusieurs écosystèmes de programmation, en dépassant le périmètre principalement centré sur…

Publié en 2025, NL2Repo est un benchmark public consacré au codage à long horizon. Il demande aux modèles de produire une bibliothèque Python complète à partir d’une spécification rédigée en langage naturel, plutôt que de résoudre un exercice isolé ou de générer un simple fragment de code.

Claw-Eval est un benchmark conçu par Bowen Ye et ses coauteurs de l’Université de Pékin et de l’Université de Hong Kong pour évaluer des agents autonomes dans des scénarios réalistes, complexes et composés de plusieurs étapes.

SWE-Lancer est un benchmark créé par OpenAI pour évaluer les grands modèles de langage sur des missions réelles d’ingénierie logicielle issues d’Upwork. Les tâches couvrent la correction de bugs, l’implémentation de fonctionnalités et la sélection de propositions techniques.

LiveCodeBench Pro est un benchmark public conçu en 2025 par l’équipe LiveCodeBench Pro, dans le cadre d’une collaboration académique comprenant notamment Sanjeev Arora et Pramod Viswanath. Il évalue les grands modèles de langage spécialisés dans le code à partir de problèmes issus de…

ExploitBench est un benchmark de cybersécurité conçu pour évaluer la capacité d’un modèle à découvrir puis à exploiter des vulnérabilités logicielles. Il repose sur des défis dans lesquels la réussite correspond à la capture d’une cible.

Codegolf v2.2 est un benchmark de code golf multimodal créé en 2025 par Andreas Ebner dans le cadre du projet ClawBattle / beowolve. Il demande aux modèles de reproduire une cible visuelle en générant le code HTML et CSS le plus court possible.

BenchCAD est un benchmark consacré au raisonnement en conception assistée par ordinateur programmatique. Il repose sur 17 900 programmes CadQuery vérifiés par exécution, couvrant 106 familles de pièces industrielles, dont environ la moitié s’appuie sur des tables de spécifications ISO,…

Artificial Analysis a conçu le Artificial Analysis Coding Agent Index v1.1 comme un indice composite indépendant consacré aux performances des agents de programmation. Il évalue des modèles associés à des environnements agentiques, afin de mesurer leur capacité à accomplir des tâches…

DeepSWE est un benchmark consacré aux agents de génie logiciel. Il évalue la capacité d’un système d’IA à résoudre de manière autonome des problèmes de code issus de situations réelles, depuis l’analyse initiale jusqu’à la mise en œuvre d’une solution.

SciCode est un benchmark de codage scientifique de recherche conçu par SciCode-bench, une collaboration académique réunissant plusieurs institutions. Élaboré par des scientifiques, il soumet les modèles de langage à des problèmes issus de plusieurs sous-domaines des sciences naturelles,…

CyberGym est un benchmark de cybersécurité créé en 2025 par une équipe de l’UC Berkeley menée par Dawn Song. Il évalue des agents IA dans un environnement contrôlé, à travers des tâches fondées sur des vulnérabilités logicielles réelles.

SWE-Lancer (IC-Diamond subset) est un benchmark créé par OpenAI à partir de missions freelance réelles publiées sur Upwork. Il porte sur des tâches indépendantes d’ingénierie logicielle, allant de la correction de bugs à l’implémentation de fonctionnalités dans un dépôt existant.

Terminal-Bench 2.1 est un benchmark créé par le Laude Institute et Stanford University pour évaluer la capacité des agents IA à piloter un ordinateur depuis un terminal. Il repose sur des tâches réelles, complètes et exécutées de manière autonome en ligne de commande.

FrontierSWE est un benchmark créé par Proximal (Proximal-Labs) pour évaluer la capacité d’agents d’IA à mener des projets techniques ouverts sur des horizons allant de plusieurs heures à plusieurs dizaines d’heures.

Aider-Polyglot Edit est un benchmark de programmation multilingue créé en 2024 par Aider-AI, sous l’impulsion de Paul Gauthier. Il repose sur une sélection de problèmes difficiles issus d’Exercism et évalue la capacité des modèles à modifier correctement du code dans six langages.

Terminal-Bench est un benchmark conçu par Stanford University, le Laude Institute et sa communauté pour éprouver des agents d’IA dans de véritables environnements de terminal isolés. Il repose sur des tâches complètes, élaborées et vérifiées par des humains.

SWE-bench Multilingual est un benchmark de génie logiciel créé par ByteDance Seed. Il évalue la capacité des modèles d’IA à comprendre une issue GitHub, à raisonner sur un dépôt de code et à produire un patch corrigeant le bug décrit.

Aider-Polyglot est un benchmark de programmation créé en 2024 par Aider, sous l’impulsion de Paul Gauthier. Il évalue des modèles d’IA sur des exercices difficiles issus d’Exercism, couvrant plusieurs langages de programmation.

Créé par Scale AI en 2026, MCP Atlas évalue la capacité des modèles d’IA à utiliser des outils à grande échelle dans des scénarios agentiques complexes. Les tâches imposent un raisonnement en plusieurs étapes et la coordination de plusieurs serveurs et outils réels au moyen du protocole…

SWE-Bench Pro est un benchmark créé en 2025 par Xiang Deng et ses coauteurs chez Scale AI. Version avancée de SWE-Bench, il évalue des modèles de langage confrontés à des problèmes réels de génie logiciel, formulés en anglais et accompagnés de code.

Terminal-Bench 2.0 est un benchmark créé par l’équipe Terminal-Bench du Laude Institute et de Stanford University. Il évalue la capacité d’agents d’intelligence artificielle à utiliser de manière autonome une interface en ligne de commande pour accomplir des tâches réalistes de bout en…

Créé par OpenAI en 2021, HumanEval est un benchmark de génération de code qui évalue la capacité d’un modèle à transformer une spécification rédigée en langage naturel en un programme Python fonctionnel.

Créé par Naman Jain et al. en 2024, LiveCodeBench est un benchmark évolutif consacré aux grands modèles de langage spécialisés dans le code. Il collecte en continu des problèmes récents issus de concours de programmation afin de limiter la contamination par les données d’entraînement.

SWE-Bench Verified est un benchmark créé en 2024 par OpenAI et l’équipe SWE-bench de Princeton NLP. Il réunit un sous-ensemble vérifié de problèmes d’ingénierie logicielle issus de véritables issues GitHub et validés par des annotateurs humains.

Aider est un benchmark d’édition de code créé en 2023 par Aider-AI, sous l’impulsion de Paul Gauthier. Fondé sur des exercices issus du dépôt Python d’Exercism, il évalue la transformation de consignes de programmation en anglais en code Python exécutable.