DeepSWE 1.1

DeepSWE 1.1 est un benchmark créé par Together AI et Agentica pour évaluer des agents d’ingénierie logicielle dans le harnais mini-swe-agent. Il examine leur aptitude à traiter des tâches concrètes de résolution de problèmes au sein de dépôts de code.

Chaque tâche mobilise une chaîne d’actions comprenant l’analyse d’un ticket, l’exploration du dépôt, la modification du code et la production d’un correctif validé par des tests. Le benchmark sert ainsi à comparer la capacité opérationnelle des modèles à mener un travail logiciel jusqu’à sa résolution.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (19)

Classement établi sur 19 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 54,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un agent résout une grande proportion des tâches dans le cadre précis de mini-swe-agent. Il traduit donc une bonne maîtrise de l’analyse des tickets, de la navigation dans les dépôts, de l’édition du code et de la validation par tests. Cette dernière fournit un critère mesuré, mais la fiabilité globale doit être nuancée puisque les scores sont majoritairement auto-déclarés par les éditeurs. Leur comparabilité dépend ainsi de l’application cohérente du harnais et du protocole. Le meilleur résultat, obtenu par GPT-5.6 Sol à 73 %, reste nettement au-dessus de la médiane de 54 % parmi les 19 modèles évalués, ce qui révèle des écarts substantiels de performance et ne suggère pas encore une saturation complète au sommet. La contamination éventuelle des tickets par les données d’entraînement demeure un risque à surveiller, car elle pourrait favoriser la mémorisation au détriment de la résolution réelle. Enfin, la portée reste ciblée sur des tickets et instructions en anglais, avec du code principalement en Python, dans un environnement agentique spécifique.

Sources des scores : llm-stats.