DeepSWE

DeepSWE est un benchmark consacré aux agents de génie logiciel. Il évalue la capacité d’un système d’IA à résoudre de manière autonome des problèmes de code issus de situations réelles, depuis l’analyse initiale jusqu’à la mise en œuvre d’une solution.

L’évaluation repose sur le framework mini-swe-agent. Chaque tâche s’exécute dans un conteneur isolé, sans accès à Internet. DeepSWE sert ainsi à comparer les modèles sur une démarche complète de résolution, en associant raisonnement agentique, manipulation du code et exécution dans un environnement contrôlé.

Carte d'identité

Classement des modèles (9)

Classement établi sur 9 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 53,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un agent résout efficacement une part importante des problèmes de génie logiciel proposés, de bout en bout et sans ressources en ligne. L’exécution de chaque tâche dans un conteneur isolé renforce la cohérence du protocole et limite le recours à des outils externes pendant l’épreuve. La fiabilité comparative reste toutefois à nuancer, car les résultats sont majoritairement auto-déclarés par les éditeurs plutôt que vérifiés par une mesure indépendante commune. L’isolement ne garantit pas, à lui seul, l’absence de contamination antérieure des données d’entraînement. La portée demeure également ciblée sur les problèmes couverts par DeepSWE et sur le fonctionnement de mini-swe-agent, sans représenter toutes les formes de programmation ou d’autonomie agentique. Avec une médiane de 53 % et un meilleur résultat de 73 %, le benchmark ne paraît pas entièrement saturé et conserve une marge de différenciation. Le classement place GPT-5.6 Sol en tête, ce qui révèle sa meilleure performance relative parmi les neuf modèles évalués dans cette base.

Sources des scores : llm-stats.