AutomationBench

AutomationBench est un benchmark consacré à l’usage d’outils par des agents d’intelligence artificielle. Il évalue leur capacité à automatiser des workflows réels, en orchestrant plusieurs outils pour mener à bien des tâches composées de plusieurs étapes.

Il mesure ainsi des aptitudes liées aux agents, au raisonnement et au tool calling. Son rôle est d’apprécier la capacité opérationnelle des modèles au-delà d’une réponse isolée, dans des scénarios où la planification, l’enchaînement des actions et l’exécution complète d’un processus sont déterminants.

Carte d'identité

Classement des modèles (6)

Classement établi sur 6 modèles évalués, dont 5 de grands éditeurs. Score médian de l'ensemble : 16,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur AutomationBench traduit une meilleure aptitude à coordonner des outils, raisonner sur plusieurs étapes et achever des automatisations réelles. Il ne constitue toutefois pas une mesure générale de toutes les capacités d’un modèle, puisque la portée du benchmark reste centrée sur les agents et les workflows outillés. Dans la base, Kimi K3 de Moonshot AI prend la tête avec 31 %, tandis que la médiane des six modèles atteint 16 %. Cet écart montre une avance nette du premier sur le niveau central, mais le meilleur résultat ne suggère pas une saturation du benchmark. Le classement met donc surtout en évidence une maîtrise encore inégale de l’automatisation multiétape. La majorité des scores étant auto-déclarée par les éditeurs, leur comparaison présente une rigueur moindre qu’une évaluation entièrement mesurée et vérifiée selon un protocole indépendant commun. Une éventuelle contamination des données d’évaluation pourrait aussi surestimer les performances, sans modifier la portée intrinsèquement spécialisée du test. Ces résultats doivent ainsi être interprétés comme des indicateurs ciblés de tool use, et non comme un classement global des modèles d’IA.

Sources des scores : llm-stats.