SWE-Bench verified

Epoch: SWE-Bench verified est un benchmark créé par OpenAI et SWE-bench/Princeton NLP à partir d’un sous-ensemble de SWE-bench validé par des humains. Il repose sur des tâches réelles de maintenance logicielle issues de dépôts GitHub.

Chaque instance demande à un modèle ou à un agent de comprendre une issue, de modifier un dépôt Python et de générer un correctif conforme aux tests. Le benchmark sert ainsi à évaluer des capacités agentiques appliquées au code, au-delà de la simple génération de réponses ou d’extraits isolés.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (15)

Classement établi sur 15 modèles évalués, dont 15 de grands éditeurs. Score médian de l'ensemble : 71,3 %.

Notre analyse

Un score élevé indique qu’un modèle résout une forte proportion d’issues en produisant des patchs qui passent les tests unitaires. Cette métrique mesure donc un résultat opérationnel, et pas seulement la plausibilité du code généré. La validation humaine du sous-ensemble et la vérification par tests renforcent la rigueur de l’évaluation. Les scores de la base étant au moins partiellement mesurés par un tiers, ils ne reposent pas uniquement sur des déclarations des éditeurs.

La portée reste toutefois circonscrite à 500 instances, avec des descriptions en anglais et du code principalement en Python. L’accès public appelle aussi à considérer le risque de contamination lors de l’interprétation des résultats. Avec une médiane de 74 % parmi 32 modèles et un meilleur score de 83 % pour Claude Opus 4.7, le classement révèle des performances déjà élevées et un écart limité entre le centre de la distribution et la tête. Cette concentration peut réduire le pouvoir discriminant du benchmark à mesure que les modèles progressent, sans signifier que les tâches réelles de maintenance logicielle sont entièrement maîtrisées.

Sources des scores : epoch.