TAU-bench Airline

TAU-bench Airline est un benchmark créé par Sierra Research pour évaluer des agents conversationnels dans le domaine aérien. Il repose sur des dialogues dynamiques à plusieurs tours, au cours desquels l’agent échange avec un utilisateur, applique des règles métier et mobilise des API ou des outils.

Intégré à TAU-bench, il mesure conjointement l’usage d’outils, le respect des politiques et la qualité de l’interaction. Il sert ainsi à apprécier la capacité des modèles à accomplir de manière fiable des tâches proches de scénarios opérationnels.

Carte d'identité

Classement des modèles (22)

Classement établi sur 22 modèles évalués, dont 15 de grands éditeurs. Score médian de l'ensemble : 49,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un agent atteint fréquemment l’état final attendu dans la base, tout en conduisant la conversation, en utilisant les outils appropriés et en respectant les règles du domaine. La métrique pass^k met l’accent sur la fiabilité au fil de plusieurs essais, plutôt que sur une réussite isolée. L’évaluation repose donc sur un résultat mesurable, comparé à un but annoté. La lecture du classement demande toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs.

Sur les 22 modèles évalués, la médiane de 50 % et le meilleur résultat de 70 %, obtenu par Claude Sonnet 4.5, montrent un écart notable entre les systèmes et une marge de progression avant saturation. La portée reste circonscrite à 50 tâches en anglais dans le domaine des compagnies aériennes. Les dialogues dynamiques limitent une lecture fondée sur de simples réponses statiques, mais le benchmark ne couvre qu’un cadre métier particulier. Comme pour tout jeu public, le risque de contamination doit être pris en compte lors de l’interprétation des performances.

Sources des scores : llm-stats.