Claw-Eval

Claw-Eval est un benchmark conçu par Bowen Ye et ses coauteurs de l’Université de Pékin et de l’Université de Hong Kong pour évaluer des agents autonomes dans des scénarios réalistes, complexes et composés de plusieurs étapes.

Il examine conjointement la complétion des tâches, la sécurité et la robustesse. Sa notation auditable s’appuie sur la trajectoire d’exécution, notamment l’usage des outils et la navigation dans les environnements, afin d’évaluer la capacité d’un modèle à mener une tâche agentique de bout en bout sans intervention.

Carte d'identité

Classement des modèles (13)

Classement établi sur 13 modèles évalués. Score médian de l'ensemble : 63,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé dans Claw-Eval traduit une aptitude à achever des tâches multi-étapes tout en respectant les critères de sécurité et de robustesse inscrits dans les rubriques. La notation par trajectoire apporte une granularité utile, car elle évalue le déroulement de l’exécution plutôt que le seul résultat final. Pass@k et Pass^k, calculés sur trois essais, rendent également compte de la réussite et de sa répétabilité.

Cette rigueur méthodologique doit être distinguée de la provenance des résultats publiés dans la base, majoritairement auto-déclarés par les éditeurs. Leur comparaison repose donc largement sur les mesures communiquées par les acteurs évalués, même si le protocole est auditable. Avec une médiane de 63 % et un meilleur résultat de 81 % pour Kimi K2.6, le classement montre une différenciation nette entre les douze modèles et ne paraît pas saturé au sommet. Sa portée reste celle de 300 tâches en anglais, réparties entre neuf catégories. Ces résultats caractérisent donc avant tout les performances sur ce cadre agentique précis, fondé sur 2 159 items de rubrique.

Sources des scores : llm-stats.