Terminal-Bench

Terminal-Bench est un benchmark conçu par Stanford University, le Laude Institute et sa communauté pour éprouver des agents d’IA dans de véritables environnements de terminal isolés. Il repose sur des tâches complètes, élaborées et vérifiées par des humains.

Les agents doivent agir de manière autonome pour compiler du code, entraîner des modèles, configurer des serveurs, administrer des systèmes ou résoudre des problèmes de débogage. Terminal-Bench évalue ainsi leur capacité à mener des workflows Linux et CLI concrets jusqu’à un résultat vérifiable.

Carte d'identité

Classement des modèles (25)

Classement établi sur 25 modèles évalués, dont 13 de grands éditeurs. Score médian de l'ensemble : 35,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un agent réussit une plus grande part des tâches de bout en bout selon les scripts de vérification associés. Cette validation par réussite ou échec apporte un critère d’évaluation concret, centré sur le résultat obtenu dans un environnement Docker isolé. La comparaison doit néanmoins rester prudente, car les scores de la base sont majoritairement auto-déclarés par les éditeurs, ce qui réduit l’homogénéité du contrôle entre modèles. Avec un meilleur résultat de 50 % pour Claude Sonnet 4.5 et une médiane de 36 % sur 25 modèles, le classement montre que même le modèle de tête ne réussit que la moitié des tâches. Le benchmark ne paraît donc pas saturé à ce stade. Son accès public implique aussi un risque de contamination si les tâches sont intégrées aux données ou aux procédures d’optimisation. Enfin, sa portée reste spécialisée : il mesure l’autonomie dans des workflows Linux et CLI, plutôt que l’ensemble des capacités générales d’un modèle.

Sources des scores : llm-stats.