PinchBench : agentique (OpenClaw, 147 tâches)

PinchBench est un benchmark open source créé par Kilo Code pour évaluer des modèles LLM utilisés comme agents de code OpenClaw. Il repose sur des tâches réelles portant notamment sur le code, la planification, la recherche et la gestion de fichiers.

Le benchmark mesure l’usage d’outils, l’enchaînement d’actions en plusieurs étapes, la gestion d’instructions ambiguës et la capacité à mener une tâche à son terme. Il sert ainsi à comparer l’efficacité pratique des modèles agentiques, au-delà de réponses isolées.

Carte d'identité

Classement des modèles (19)

Classement établi sur 19 modèles évalués, dont 11 de grands éditeurs. Score médian de l'ensemble : 71,8 %.

Notre analyse

Un score élevé traduit une forte capacité à accomplir correctement des tâches agentiques réelles dans l’environnement OpenClaw. Le taux de réussite reste central, tandis que la vitesse et le coût apportent des critères complémentaires pour distinguer des agents affichant une efficacité comparable. La notation repose sur des vérifications automatiques, un juge LLM ou une méthode hybride. Les scores étant au moins partiellement mesurés par un tiers, ils ne relèvent pas uniquement de déclarations des fournisseurs.

Le classement montre un niveau global déjà élevé parmi les 57 modèles évalués, avec une médiane de 72 %. Qwen3.7 Max se détache à 93 %, ce qui laisse encore une marge avant la réussite totale, malgré un risque de saturation progressive dans le haut du classement. La portée demeure ciblée sur des tâches en anglais exécutées comme agents OpenClaw. Le caractère public et open source favorise la reproductibilité, mais impose aussi de considérer le risque de contamination lors de l’interprétation des performances. Enfin, la taille appelle une lecture attentive, l’intitulé annonçant 147 tâches alors que la page officielle décrit 23 tâches en v1 et un objectif de 100 pour v2.

Sources des scores : pinchbench.