SWE-Bench Verified

SWE-Bench Verified est un benchmark créé en 2024 par OpenAI et l’équipe SWE-bench de Princeton NLP. Il réunit un sous-ensemble vérifié de problèmes d’ingénierie logicielle issus de véritables issues GitHub et validés par des annotateurs humains.

Il mesure la capacité d’un modèle à comprendre une demande, à naviguer dans une base de code Python et à générer un correctif faisant passer les tests. Il sert ainsi à évaluer la résolution autonome de tâches de programmation proches de situations réelles.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (102)

Classement établi sur 102 modèles évalués, dont 61 de grands éditeurs. Score médian de l'ensemble : 71,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle résout une forte proportion des issues en produisant, dès sa réponse évaluée, des patchs conformes aux tests. Cette mesure vérifie un résultat fonctionnel plutôt que la seule plausibilité du code. La validation humaine des problèmes renforce la rigueur du jeu, mais les scores recensés sont majoritairement auto-déclarés par les éditeurs, ce qui invite à distinguer la solidité du benchmark de celle du processus de publication des résultats.

Avec une médiane de 72 % parmi 101 modèles et un meilleur score de 95 % pour Claude Fable 5, le classement montre des performances globalement élevées et une tête proche du maximum. Cette proximité peut réduire progressivement le pouvoir discriminant du benchmark et signaler un risque de saturation. Son accès public et son origine dans des issues GitHub imposent aussi de considérer le risque de contamination lors de l’interprétation. Enfin, sa portée reste centrée sur des correctifs de bases Python associés à des issues réelles, et non sur l’ensemble des compétences de développement logiciel.

Sources des scores : llm-stats.