TAU-bench Retail

TAU-bench Retail est un benchmark créé par Sierra pour évaluer les agents conversationnels dans des environnements de vente au détail. Il repose sur des échanges dynamiques et multi-tours avec un utilisateur simulé, associés à l’utilisation d’outils métier.

L’évaluation porte sur la capacité d’un modèle à comprendre une demande, à appeler correctement les API adaptées et à respecter les politiques opérationnelles. Les scénarios couvrent notamment l’annulation de commandes, les changements d’adresse et le suivi de statut, afin d’apprécier l’exécution complète de tâches agentiques.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (24)

Classement établi sur 24 modèles évalués, dont 17 de grands éditeurs. Score médian de l'ensemble : 68,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un agent mène à bien une forte proportion de scénarios combinant dialogue, choix d’outils et respect des règles métier. La métrique mesure donc la réussite finale de la tâche, plutôt qu’une aptitude isolée. Dans la base, la médiane de 69 % et le meilleur résultat de 86 %, obtenu par Claude Sonnet 4.5, montrent un écart entre le niveau central et la tête du classement, tout en laissant une marge avant une saturation complète.

La comparaison doit toutefois rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans un cadre de mesure unique. Le caractère public du benchmark peut aussi accroître le risque de contamination au fil de sa diffusion. Sa portée reste ciblée sur environ 115 tâches en anglais dans le domaine Retail, ce qui limite l’extrapolation à d’autres langues, secteurs ou formes d’interaction. Sur les 24 modèles évalués, le classement met surtout en évidence la capacité de Claude Sonnet 4.5 à réussir ces parcours agentiques spécialisés.

Sources des scores : llm-stats.