Terminal-Bench 2.0

Terminal-Bench 2.0 est un benchmark créé par l’équipe Terminal-Bench du Laude Institute et de Stanford University. Il évalue la capacité d’agents d’intelligence artificielle à utiliser de manière autonome une interface en ligne de commande pour accomplir des tâches réalistes de bout en bout.

Les scénarios couvrent notamment la compilation de code, la configuration de serveurs, l’entraînement de modèles, l’administration système, la science des données et la cybersécurité. Le benchmark sert ainsi à comparer l’efficacité opérationnelle des modèles lorsqu’ils doivent mobiliser des outils dans des environnements Dockerisés.

Carte d'identité

Classement des modèles (49)

Classement établi sur 49 modèles évalués, dont 27 de grands éditeurs. Score médian de l'ensemble : 57,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un agent mène à bien une forte proportion de tâches complètes en terminal, depuis l’interprétation de l’objectif jusqu’à l’exécution des commandes et à l’obtention d’un résultat conforme. La réussite est vérifiée par des tests pytest, ce qui fournit un critère mesurable au niveau de chaque tâche. La fiabilité comparative doit néanmoins être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans un protocole de mesure centralisé.

Le classement fait apparaître un écart notable entre la médiane de l’ensemble, à 57 %, et GPT-5.5, premier à 83 %. Cette avance traduit une meilleure réussite sur ce corpus, sans équivaloir à une maîtrise générale de l’usage informatique. La portée reste celle des 89 tâches retenues, de leurs environnements Dockerisés et des domaines couverts. Le meilleur résultat demeure inférieur à une réussite totale, ce qui ne signale pas une saturation complète du benchmark. Comme l’évaluation porte sur un jeu public, le classement décrit avant tout les performances obtenues sur Terminal-Bench 2.0.

Sources des scores : llm-stats.