Créé par Sierra Research, TAU3-Bench évalue les capacités d’agents généralistes dans des scénarios de service client en anglais. Il met en jeu des interactions multi-tours avec un utilisateur simulé, la recherche d’informations, l’appel d’outils et des prises de décision complexes.

Créé par Sierra Research en 2024, Tau-bench évalue des agents de langage dans des interactions dynamiques proches de scénarios métier. Les tâches associent un utilisateur simulé, des conversations en anglais, des règles propres à un domaine et l’utilisation d’outils ou d’API.

Tau2 Airline est un benchmark publié en 2025 par Sierra Research pour évaluer des agents conversationnels dans des scénarios de service client aérien. Il repose sur des dialogues multi-tours où l’agent et l’utilisateur disposent chacun d’outils et doivent agir de manière coordonnée.

Créé par Victor Barres et al. chez Sierra, t2-bench évalue les capacités agentiques d’utilisation d’outils dans des tâches conversationnelles complexes. Les modèles doivent sélectionner, ordonner et employer des outils afin de planifier puis d’exécuter des scénarios en plusieurs étapes.

TAU-bench Airline est un benchmark créé par Sierra Research pour évaluer des agents conversationnels dans le domaine aérien. Il repose sur des dialogues dynamiques à plusieurs tours, au cours desquels l’agent échange avec un utilisateur, applique des règles métier et mobilise des API ou…

Tau2 Retail est un benchmark conçu par Sierra Research pour évaluer des agents conversationnels dans des scénarios de service client liés au commerce électronique. Les tâches prennent la forme de dialogues multi-tours au cours desquels l’agent et l’utilisateur peuvent interagir avec des…

TAU-bench Retail est un benchmark créé par Sierra pour évaluer les agents conversationnels dans des environnements de vente au détail. Il repose sur des échanges dynamiques et multi-tours avec un utilisateur simulé, associés à l’utilisation d’outils métier.

Créé par Sierra Research, Tau2 Telecom est un benchmark consacré aux agents conversationnels capables d’utiliser des outils dans des scénarios de dépannage télécom. Il modélise ces interactions comme un environnement partagé en dual-control, de type Dec-POMDP, dans lequel l’agent et…