Terminal-Bench 2.1

Terminal-Bench 2.1 est un benchmark créé par le Laude Institute et Stanford University pour évaluer la capacité des agents IA à piloter un ordinateur depuis un terminal. Il repose sur des tâches réelles, complètes et exécutées de manière autonome en ligne de commande.

Les scénarios couvrent notamment la compilation de code, l’entraînement de modèles, la configuration de serveurs, l’administration système, les workflows de data science, le débogage et la sécurité. Le benchmark sert ainsi à comparer les modèles sur leur aptitude à accomplir concrètement des opérations informatiques, au-delà de la simple production de réponses textuelles.

Carte d'identité

Classement des modèles (13)

Classement établi sur 13 modèles évalués, dont 7 de grands éditeurs. Score médian de l'ensemble : 82,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un agent résout une grande proportion de tâches de bout en bout, avec une réussite validée par des tests. Il traduit donc une capacité à enchaîner correctement des actions dans un terminal et à obtenir le résultat attendu sur des scénarios variés. Le classement place Claude Fable 5 en tête à 84 %, devant un ensemble de six modèles dont le score médian atteint 69 %. Cet écart met en évidence une avance sur ce jeu, sans équivaloir à une maîtrise complète de toutes les tâches.

La validation par tests apporte un critère mesurable, mais la fiabilité comparative doit être nuancée puisque les scores sont majoritairement auto-déclarés par les éditeurs. La version 2.1 corrige 28 des 89 tâches de la version 2.0, ce qui souligne l’importance de la qualité des exercices dans l’interprétation des résultats. La saturation n’est pas atteinte par le meilleur score observé. L’accès public peut aussi exposer le benchmark à un risque de contamination. Enfin, sa portée reste centrée sur des tâches informatiques en anglais réalisées dans un terminal, et non sur l’ensemble des capacités d’un modèle.»

Sources des scores : llm-stats.