WideSearch est un benchmark d’IA créé par ByteDance Seed pour évaluer des tâches agentiques de recherche d’information à large couverture. Il mesure la capacité d’un modèle à explorer plusieurs sources en parallèle, à collecter des éléments atomiques vérifiables, puis à produire une…

VITA-Bench est un benchmark public créé par Meituan LongCat pour évaluer des agents d’IA dans des tâches virtuelles inspirées de situations réelles. Il cible l’automatisation de processus complexes, notamment autour de la livraison de repas, de la consommation en magasin et des voyages…

Toolathlon est un benchmark public conçu par HKUST-NLP, le groupe NLP de la Hong Kong University of Science and Technology. Il évalue des agents d’IA dans leur capacité à utiliser plusieurs outils au fil de tâches longues, réalistes et diversifiées, avec des scénarios couvrant plusieurs…

TIR-Bench est un benchmark multimodal centré sur le raisonnement agentique avec images et outils. Créé par agents-x-project, équipe TIR-Bench menée par Ming Li et al., il évalue la capacité d’un modèle à « penser avec les images », c’est-à-dire à créer, manipuler et exploiter des images…

Tau2 Telecom est un benchmark de Sierra Research consacré à l’évaluation d’agents conversationnels capables d’utiliser des outils dans des situations de dépannage télécom. Il s’inscrit dans le domaine telecom de tau2-bench et repose sur des scénarios conversationnels multi-tours où…

TAU3-Bench est un benchmark public conçu par Sierra Research pour évaluer des capacités d’agent généraliste dans des scénarios proches du service client. Il met les modèles face à des interactions multi-tours avec un utilisateur simulé, en combinant retrieval, appel d’outils et prise de…

Tau2 Airline est un benchmark conçu par Sierra Research pour évaluer des agents conversationnels dans des scénarios de service client aérien. Il met en scène des dialogues multi-tours où l’agent et l’utilisateur disposent chacun d’un contrôle sur certains outils, ce qui impose une…