SWE-bench Multilingual

SWE-bench Multilingual est un benchmark de génie logiciel créé par ByteDance Seed. Il évalue la capacité des modèles d’IA à comprendre une issue GitHub, à raisonner sur un dépôt de code et à produire un patch corrigeant le bug décrit.

Conçu pour couvrir plusieurs écosystèmes au-delà de Python, il mesure conjointement la génération et l’édition de code, le raisonnement et la résolution de bugs dans sept langages. Il sert ainsi à comparer les modèles sur des tâches proches de la maintenance logicielle à l’échelle d’un dépôt.

Carte d'identité

Classement des modèles (34)

Classement établi sur 34 modèles évalués, dont 14 de grands éditeurs. Score médian de l'ensemble : 70,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé signifie qu’un modèle résout une forte proportion des issues proposées en générant des correctifs qui passent les tests unitaires. Cette métrique fournit un critère mesurable, mais la fiabilité du classement doit être nuancée puisque les scores recensés sont majoritairement auto-déclarés par les éditeurs. Avec une médiane de 70 % parmi 33 modèles et un meilleur résultat de 87 % pour Claude Mythos Preview, le classement montre un niveau global déjà élevé tout en laissant une marge avant la résolution complète. Cette proximité relative avec le plafond peut toutefois réduire progressivement le pouvoir discriminant du benchmark si les performances continuent de monter. Son accès public appelle également à considérer le risque de contamination lors de l’interprétation des résultats. Enfin, sa portée reste centrée sur la correction d’issues GitHub dans les sept langages couverts. Il évalue donc précisément la maintenance logicielle multi-langages à l’échelle d’un dépôt, plutôt que l’ensemble des aptitudes possibles en programmation.

Sources des scores : llm-stats.