Artificial Analysis Coding Agent Index v1.1

Artificial Analysis a conçu le Artificial Analysis Coding Agent Index v1.1 comme un indice composite indépendant consacré aux performances des agents de programmation. Il évalue des modèles associés à des environnements agentiques, afin de mesurer leur capacité à accomplir des tâches liées au code.

Cette version agrège à parts égales les résultats pass@1 de DeepSWE, Terminal-Bench v2 et SWE-Atlas-QnA. Elle fournit ainsi un repère synthétique pour comparer des systèmes complets, composés d’un modèle et de son dispositif agentique.

Carte d'identité

Classement des modèles (4)

Classement établi sur 4 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 76,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé traduit un fort taux moyen de réussite dès la première tentative sur les trois composantes. Il caractérise toutefois la combinaison du modèle et de son environnement agentique, plutôt que le modèle considéré isolément. La rigueur de la comparaison doit aussi être nuancée, car les résultats sont majoritairement auto-déclarés par les éditeurs, avec une vérification indépendante potentiellement moins homogène que dans une campagne entièrement mesurée par un tiers.

Dans l’échantillon de quatre modèles, GPT-5.6 Sol arrive en tête à 80 %, tandis que la médiane atteint 77 %. Ce faible écart suggère un classement resserré et peut signaler un début de saturation parmi les systèmes évalués, ce qui réduit le pouvoir discriminant de quelques points. Une éventuelle contamination des jeux d’évaluation pourrait également favoriser certains résultats. Enfin, la portée reste circonscrite aux agents de code et aux tâches couvertes par DeepSWE, Terminal-Bench v2 et SWE-Atlas-QnA. Le classement renseigne donc sur cette combinaison précise de compétences, de tâches et de dispositifs agentiques.

Sources des scores : llm-stats.