Agentic Coding

LiveBench: Agentic Coding est une catégorie de LiveBench ajoutée en 2025 par l’équipe réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Elle évalue le codage agentique au moyen de tâches réalisées sur plusieurs tours dans un environnement de développement.

Le benchmark mesure la capacité d’un agent autonome à progresser dans ce cadre et à produire des résultats conformes à une vérité-terrain objective. Sa notation automatique, sans juge LLM, permet de comparer les performances opérationnelles des modèles sur plusieurs tâches de développement.

Carte d'identité

Classement des modèles (7)

Classement établi sur 7 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 45,4 %.

Notre analyse

Un score élevé indique qu’un agent réussit une plus grande part des tâches multi-tours selon des critères objectifs et vérifiables. La méthode de notation automatique réduit la subjectivité associée à un juge LLM. La fiabilité pratique du classement doit néanmoins être nuancée, car les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés indépendamment dans un cadre unique.

Avec une médiane de 46 % parmi les 26 modèles évalués et un meilleur résultat de 56 % pour Claude Opus 4.8, le classement montre un avantage limité du premier modèle sur le centre de la distribution et ne suggère pas une saturation des résultats. La portée reste ciblée sur le codage agentique en anglais, dans un environnement de développement multi-tours. Le caractère public du benchmark constitue aussi un point d’attention pour la contamination potentielle des évaluations, en particulier lorsque les résultats sont déclarés par les éditeurs. Le classement renseigne donc sur l’efficacité dans ce cadre précis, sans étendre directement cette mesure à d’autres capacités.

Sources des scores : livebench.