Tau2 Telecom

Créé par Sierra Research, Tau2 Telecom est un benchmark consacré aux agents conversationnels capables d’utiliser des outils dans des scénarios de dépannage télécom. Il modélise ces interactions comme un environnement partagé en dual-control, de type Dec-POMDP, dans lequel l’agent et l’utilisateur peuvent tous deux agir.

Les conversations multi-tours évaluent surtout la coordination, la communication et l’exécution correcte d’une procédure à l’aide d’outils. Tau2 Telecom sert ainsi à mesurer la capacité des modèles à mener une tâche interactive jusqu’à sa résolution vérifiable.

Carte d'identité

Classement des modèles (34)

Classement établi sur 34 modèles évalués, dont 21 de grands éditeurs. Score médian de l'ensemble : 86,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un agent réussit fréquemment les tâches de dépannage générées de manière compositionnelle, en coordonnant ses appels d’outils avec les actions de l’utilisateur. La réussite repose sur une récompense vérifiable, ce qui fournit un critère mesurable. Toutefois, les scores de la base étant majoritairement auto-déclarés par les éditeurs, leur comparaison dépend aussi de la cohérence des protocoles d’exécution et de publication.

Le niveau médian de 86 % et le meilleur résultat, 99 % pour Claude Opus 4.6, signalent une forte concentration vers le haut du barème. Cette proximité du plafond peut réduire le pouvoir discriminant du benchmark entre les modèles les plus performants. Son accès public impose également de considérer un risque de contamination lors de l’interprétation, sans que cela établisse qu’elle a eu lieu. Enfin, la portée reste ciblée sur des conversations en anglais et sur le dépannage télécom avec outils. Le classement révèle donc surtout la maîtrise de cette forme précise de coordination agent-utilisateur, plutôt qu’une aptitude générale à toutes les tâches conversationnelles ou agentiques.

Sources des scores : llm-stats.