SWE-Bench Pro

SWE-Bench Pro est un benchmark créé en 2025 par Xiang Deng et ses coauteurs chez Scale AI. Version avancée de SWE-Bench, il évalue des modèles de langage confrontés à des problèmes réels de génie logiciel, formulés en anglais et accompagnés de code.

Les tâches demandent un raisonnement prolongé et une résolution en plusieurs étapes, avec des modifications substantielles réparties entre plusieurs fichiers. Le benchmark sert ainsi à mesurer la capacité d’agents IA à produire, dès leur première tentative, des correctifs capables de résoudre des issues issues de dépôts logiciels.

Carte d'identité

Classement des modèles (41)

Classement établi sur 41 modèles évalués, dont 23 de grands éditeurs. Score médian de l'ensemble : 57,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score Pass@1 élevé signifie qu’un agent résout une forte proportion de tâches dès sa première tentative. Il traduit donc une meilleure aptitude à mener des interventions logicielles complexes et à long horizon, notamment lorsque le correctif doit rester cohérent dans plusieurs fichiers. Avec une médiane de 57 % parmi les 35 modèles de la base et un meilleur résultat de 80 % pour Claude Fable 5, le classement révèle un écart notable entre la performance centrale de l’ensemble et son sommet. Il ne paraît pas entièrement saturé, puisque même le premier modèle ne résout pas toutes les tâches.

La lecture du classement exige toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans un cadre de mesure uniforme. Le jeu de test privé, dont les réponses ne sont pas divulguées, réduit l’exposition directe des solutions et contribue à limiter la contamination. La portée reste ciblée sur le génie logiciel agentique, en anglais avec du code, à travers 1 865 tâches provenant de 41 dépôts. Les résultats caractérisent donc ce domaine précis, et non les capacités générales des modèles.

Sources des scores : llm-stats.