t2-bench

Créé par Victor Barres et al. chez Sierra, t2-bench évalue les capacités agentiques d’utilisation d’outils dans des tâches conversationnelles complexes. Les modèles doivent sélectionner, ordonner et employer des outils afin de planifier puis d’exécuter des scénarios en plusieurs étapes.

Sa particularité réside dans un environnement partagé à double contrôle, où l’agent et l’utilisateur simulé peuvent tous deux modifier l’état. Ce dispositif aide à distinguer les erreurs de raisonnement des problèmes de communication et à apprécier plus finement l’autonomie opérationnelle des modèles.

Carte d'identité

Classement des modèles (23)

Classement établi sur 23 modèles évalués, dont 12 de grands éditeurs. Score médian de l'ensemble : 79,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle réussit régulièrement les tâches en choisissant et en enchaînant correctement les outils, tout en tenant compte des modifications apportées par l’utilisateur simulé. La métrique pass^k repose sur la récompense et la vérification des actions, ce qui ancre l’évaluation dans l’exécution effective. La prudence reste toutefois nécessaire, car les scores de la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon un protocole indépendant unique. Avec une médiane de 80 % sur 23 modèles et un meilleur résultat de 99 % pour Gemini 3.1 Pro Preview, le classement montre un niveau globalement élevé et une forte proximité avec le plafond pour le modèle de tête. Cette situation peut réduire le pouvoir discriminant du benchmark au sommet du classement. Sa portée demeure ciblée sur des tâches conversationnelles en anglais, fondées sur l’usage d’outils dans un environnement partagé. Les résultats caractérisent donc cette forme précise d’interaction agentique, plutôt qu’une compétence générale couvrant tous les contextes d’usage des modèles.

Sources des scores : llm-stats.