TAU-bench Retail est un benchmark conçu par Sierra pour évaluer des agents conversationnels dans des environnements de vente au détail. Il met en scène des échanges multi-tours avec un utilisateur simulé, où le modèle doit comprendre la demande, dialoguer de manière cohérente et…

Tau2 Retail est un benchmark publié par Sierra Research pour évaluer des agents conversationnels dans des scénarios de service client e-commerce. Il s’inscrit dans le domaine retail de τ²-bench et met en scène des dialogues multi-tours où l’agent et l’utilisateur peuvent interagir avec…

t2-bench est un benchmark consacré aux agents conversationnels capables d’utiliser des outils dans des tâches agentiques multi-étapes. Créé par Victor Barres et al. chez Sierra, il évalue la capacité d’un modèle à choisir, ordonner et exploiter des outils pour résoudre des scénarios…

Tau-bench est un benchmark public conçu par Sierra Research pour évaluer des agents de langage dans des interactions proches de scénarios métier réels. Il met l’accent sur des conversations dynamiques avec un utilisateur simulé, où le modèle doit comprendre la demande, appliquer des…

TAU-bench Airline est un benchmark de Sierra Research consacré à l’évaluation d’agents conversationnels dans un domaine de compagnie aérienne. Il fait partie de τ-bench, une suite centrée sur les interactions entre outil, agent et utilisateur dans des scénarios proches de cas métier réels.

OSWorld est un benchmark consacré aux agents multimodaux capables d’agir dans de vrais environnements informatiques. Créé par Tianbao Xie et al., au sein de XLang Lab et avec des collaborateurs, il met l’accent sur des tâches interactives où le modèle doit comprendre l’écran, décider…

OSWorld-Verified est un benchmark conçu par XLang Lab, à l’University of Hong Kong, pour évaluer des agents multimodaux dans de véritables environnements de bureau. Il s’appuie sur des tâches informatiques ouvertes, exécutées dans des applications réelles, avec navigation d’interface,…