Multi-SWE-Bench

Multi-SWE-Bench est un benchmark publié en 2025 par l’équipe Seed de ByteDance, associée à Doubao. Il évalue la capacité des grands modèles de langage à résoudre des problèmes logiciels réels dans plusieurs écosystèmes de programmation, en dépassant le périmètre principalement centré sur Python de SWE-bench.

Chaque tâche consiste à produire un patch à partir d’une issue GitHub, puis à en vérifier la validité grâce aux tests du dépôt. Multi-SWE-Bench sert ainsi à comparer les modèles sur une activité concrète de maintenance logicielle multilingue.

Carte d'identité

Classement des modèles (6)

Classement établi sur 6 modèles évalués. Score médian de l'ensemble : 45,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle résout correctement une part importante des issues dès sa première proposition, selon la validation par les tests unitaires du dépôt. Cette vérification automatisée apporte un critère mesurable, plus robuste qu’une appréciation subjective de la qualité du code. La constitution du jeu renforce aussi sa rigueur, avec 1 632 instances issues de 2 456 candidats et annotées par 68 experts. La comparabilité doit néanmoins être nuancée, car les scores recensés sont majoritairement auto-déclarés par les éditeurs.

Le classement montre des performances encore regroupées dans une plage relativement étroite : MiniMax M2.7 atteint 53 %, contre une médiane de 46 % parmi les six modèles évalués. Cet écart ne traduit pas une saturation manifeste au sommet, tandis qu’une part importante des problèmes reste non résolue. La portée du benchmark demeure ciblée sur la résolution d’issues vérifiable par tests dans sept langages. Il mesure donc une compétence de maintenance logicielle concrète et diversifiée, plutôt qu’une aptitude générale à toutes les formes de développement.

Sources des scores : llm-stats.