Terminal-Bench est un benchmark conçu pour tester des agents d’IA dans de véritables environnements de terminal. Créé par Stanford University, Laude Institute et la communauté Terminal-Bench, il se concentre sur des tâches end-to-end en ligne de commande, exécutées dans des…

Terminal-Bench 2.0 est un benchmark public consacré aux agents d’IA capables d’opérer un ordinateur via une interface terminal. Créé par le Laude Institute et Stanford University, avec l’équipe Terminal-Bench, il met l’accent sur des tâches réalistes menées de bout en bout en ligne de…

Terminal-Bench 2.1 est un benchmark conçu par Laude Institute et Stanford University pour évaluer des agents IA dans un environnement de terminal. Il porte sur des tâches réelles menées de bout en bout en ligne de commande, comme compiler du code, entraîner des modèles, configurer des…

SWE-Bench Verified est un benchmark consacré à la résolution d’issues logicielles réelles. Créé par OpenAI et l’équipe SWE-bench de Princeton NLP, il sert à évaluer la capacité des modèles à comprendre un problème décrit en anglais, à explorer une base de code Python et à produire un…

SWE-Lancer est un benchmark créé par OpenAI pour évaluer des modèles de langage sur des tâches réelles d’ingénierie logicielle freelance issues d’Upwork. Il couvre des corrections de bugs, des implémentations de fonctionnalités et des choix de propositions techniques, avec un ancrage…

SWE-Lancer (IC-Diamond subset) est un benchmark créé par OpenAI pour évaluer des agents d’IA sur des tâches d’ingénierie logicielle issues de missions freelance réelles. Il porte sur la correction de bugs et l’implémentation de fonctionnalités dans un dépôt applicatif existant, avec une…

SWE-Bench Pro est un benchmark d’évaluation des agents IA appliqué au génie logiciel réel. Créé par Xiang Deng et al. chez Scale AI, il prolonge SWE-Bench avec des tâches plus complexes, orientées vers la résolution d’issues et la production de patches répartis sur plusieurs fichiers.