Tau2 Retail

Tau2 Retail est un benchmark conçu par Sierra Research pour évaluer des agents conversationnels dans des scénarios de service client liés au commerce électronique. Les tâches prennent la forme de dialogues multi-tours au cours desquels l’agent et l’utilisateur peuvent interagir avec des outils dans un environnement dual-control.

L’évaluation porte sur l’usage d’outils, le respect des règles métier, la communication et la coordination entre les parties. Elle vise ainsi à mesurer la capacité des modèles à conduire une demande client jusqu’à un état final conforme à l’objectif annoté.

Carte d'identité

Classement des modèles (25)

Classement établi sur 25 modèles évalués, dont 15 de grands éditeurs. Score médian de l'ensemble : 76,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Tau2 Retail indique qu’un agent accomplit régulièrement les tâches demandées sur plusieurs essais, tout en coordonnant dialogue, appels d’outils et contraintes métier. La validation repose sur la comparaison entre l’état final de la base et le but annoté, ce qui fournit un critère mesurable au-delà de la seule qualité apparente de la conversation. La lecture du classement exige toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs. Avec une médiane de 76 % parmi 25 modèles et un meilleur résultat de 92 % pour Claude Opus 4.6, le benchmark révèle un écart réel entre le niveau central et la tête, mais aussi une marge de progression limitée au sommet, susceptible de réduire progressivement son pouvoir discriminant. Son accès public impose également de garder à l’esprit le risque de contamination lors de l’interprétation des performances. Enfin, sa portée reste ciblée sur environ 115 tâches en anglais, dans le domaine retail et le service client e-commerce, sans représenter l’ensemble des usages possibles des agents conversationnels.

Sources des scores : llm-stats.