Toolathlon

Toolathlon est un benchmark créé en 2025 par HKUST-NLP pour évaluer des agents d’IA confrontés à des tâches réalistes et longues nécessitant plusieurs outils. Les scénarios sollicitent différentes applications au fil d’interactions prolongées.

Il mesure la capacité à sélectionner, enchaîner et exécuter correctement des outils, tout en suivant les erreurs d’appel et en conservant le contexte. Son évaluation fondée sur l’exécution vise à apprécier la réussite effective plutôt qu’une simple réponse textuelle.

Carte d'identité

Classement des modèles (30)

Classement établi sur 30 modèles évalués, dont 18 de grands éditeurs. Score médian de l'ensemble : 48,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Toolathlon indique qu’un modèle mène fréquemment à bien des tâches agentiques complexes, avec une sélection pertinente des outils, un enchaînement approprié des appels et une gestion efficace du contexte long et des erreurs. La métrique fondée sur l’exécution renforce la portée pratique du résultat, car elle mesure l’aboutissement de la tâche. La fiabilité comparative reste toutefois à considérer avec prudence, les scores étant majoritairement auto-déclarés par les éditeurs plutôt que produits dans un protocole centralisé. Le meilleur résultat, 60 % pour Claude Opus 4.8, demeure nettement éloigné d’une réussite systématique, ce qui ne suggère pas une saturation du benchmark. Son avance de 13 points sur la médiane de 47 % met en évidence un écart réel entre la tête du classement et le niveau central des 24 modèles évalués. La portée reste circonscrite aux tâches en anglais, aux applications et outils couverts, ainsi qu’aux scénarios d’environ 20 tours. Enfin, l’accès public peut accroître le risque potentiel d’exposition des modèles aux tâches, ce qui invite à interpréter les résultats avec recul.

Sources des scores : llm-stats.