MCP Atlas

Créé par Scale AI en 2026, MCP Atlas évalue la capacité des modèles d’IA à utiliser des outils à grande échelle dans des scénarios agentiques complexes. Les tâches imposent un raisonnement en plusieurs étapes et la coordination de plusieurs serveurs et outils réels au moyen du protocole MCP.

Le benchmark vise ainsi à mesurer non seulement l’exécution correcte d’une tâche, mais aussi l’aptitude d’un agent à mobiliser plusieurs ressources de façon coordonnée. Il fournit un cadre commun pour comparer les modèles sur des usages d’outils proches de workflows opérationnels.

Carte d'identité

Classement des modèles (30)

Classement établi sur 30 modèles évalués, dont 17 de grands éditeurs. Score médian de l'ensemble : 73,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MCP Atlas indique qu’un modèle réussit une large part des tâches agentiques et couvre efficacement les étapes attendues lors de l’utilisation coordonnée de plusieurs outils. L’évaluation combine taux de réussite et taux de couverture, avec Gemini 2.5 Pro comme juge par défaut et un seuil fixé à 0,75. Ce protocole apporte une procédure de jugement commune, mais la fiabilité comparative reste à nuancer puisque les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière indépendante.

Parmi les 27 modèles recensés, la médiane de 72 % et le meilleur résultat de 84 %, obtenu par Seed 2.1 Pro de ByteDance, montrent une hiérarchie encore différenciée et une marge avant une saturation complète. La portée demeure circonscrite aux tâches en anglais reposant sur MCP, même si leur diversité couvre de nombreux serveurs et outils. L’accès public peut aussi créer un risque de contamination ou d’optimisation ciblée. Le classement reflète donc avant tout la maîtrise de workflows multi-outils MCP, et non une mesure générale de toutes les capacités d’un modèle.

Sources des scores : llm-stats.