Tau2 Airline

Tau2 Airline est un benchmark publié en 2025 par Sierra Research pour évaluer des agents conversationnels dans des scénarios de service client aérien. Il repose sur des dialogues multi-tours où l’agent et l’utilisateur disposent chacun d’outils et doivent agir de manière coordonnée.

Les tâches couvrent notamment la réservation, la modification et l’annulation de vols, ainsi que les remboursements. Le benchmark mesure l’usage d’outils, le respect des règles, la communication et la capacité de l’agent à guider les actions de l’utilisateur dans un environnement dual-control.

Carte d'identité

Classement des modèles (22)

Classement établi sur 22 modèles évalués, dont 11 de grands éditeurs. Score médian de l'ensemble : 59,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé en pass^k indique qu’un modèle réussit une forte proportion de tâches sur plusieurs essais. Il traduit donc une capacité à combiner dialogue, appels d’outils, respect des règles et coordination avec l’utilisateur, plutôt qu’une simple maîtrise de réponses isolées. Le classement montre cependant une difficulté encore réelle : le meilleur modèle, LongCat-Flash-Thinking-2601 de Meituan, atteint 76 %, tandis que la médiane des 22 modèles évalués s’établit à 59 %. Cet écart distingue les systèmes les plus efficaces, sans indiquer une saturation complète du benchmark. L’interprétation demande néanmoins de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs, ce qui offre une rigueur moins homogène qu’une évaluation centralisée selon un protocole unique. L’accès public peut aussi exposer le jeu à un risque de contamination lors du développement des modèles. Enfin, sa portée reste ciblée : environ 50 tâches, en anglais, dans le seul domaine aérien. Les résultats renseignent donc précisément sur ce cadre dual-control, mais ne suffisent pas à caractériser l’ensemble des capacités agentiques.

Sources des scores : llm-stats.