MCP-Mark

Créé par EVAL SYS en 2025, MCP-Mark évalue la capacité des modèles de langage à utiliser efficacement des outils reposant sur le Model Context Protocol. Il couvre la découverte des outils, leur sélection, leur invocation et l’interprétation des résultats obtenus.

Le benchmark repose sur des tâches agentiques vérifiées par programme, notamment des opérations CRUD menées avec plusieurs serveurs MCP. Il sert ainsi à comparer l’aptitude des modèles à accomplir des actions concrètes dans des environnements outillés, au-delà de la simple production de texte.

Carte d'identité

Classement des modèles (8)

Classement établi sur 8 modèles évalués, dont 1 de grands éditeurs. Score médian de l'ensemble : 52,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MCP-Mark indique qu’un modèle parvient fréquemment à choisir et employer correctement les outils MCP, puis à exploiter leurs résultats pour mener une tâche à son terme. Les métriques pass@1 et pass^4 rendent compte de cette réussite, tandis que la vérification programmatique apporte un critère mesurable à l’exécution. La fiabilité du classement doit toutefois être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs.

La portée reste circonscrite à 127 tâches en anglais couvrant Notion, GitHub, Filesystem, PostgreSQL et Playwright. Les résultats caractérisent donc ces scénarios MCP plutôt que l’ensemble des usages agentiques. Le caractère public du benchmark peut aussi accroître le risque de contamination. Avec une médiane de 52 % parmi huit modèles et un meilleur résultat de 81 % pour Kimi K2.7 Code, le classement révèle des écarts substantiels et ne paraît pas saturé. La première place traduit une forte maîtrise de ces tâches, sans constituer une mesure générale des capacités d’un modèle.

Sources des scores : llm-stats.