SWE-bench Multilingual est un benchmark d’ingénierie logicielle consacré à la résolution d’issues GitHub dans plusieurs langages de programmation. Créé par ByteDance Seed et publié en 2025, il évalue la capacité des modèles à comprendre un dépôt, raisonner sur un bug, puis générer ou…

SkillsBench est un benchmark public créé par SkillsBench (skillsbench.ai) pour évaluer des agents de codage sur des tâches de programmation auto-contenues. Il cible les compétences pratiques d’ingénierie logicielle, avec des scénarios couvrant plusieurs domaines du développement logiciel.

SciCode est un benchmark de codage scientifique conçu par SciCode-bench, une collaboration académique multi-institutions. Il évalue la capacité des modèles de langage à produire du code pour résoudre des problèmes de recherche en sciences naturelles, à partir d’énoncés décomposés en…

NL2Repo est un benchmark public publié en 2025 pour évaluer la génération autonome de dépôts logiciels à partir de spécifications en langage naturel. Les informations disponibles ne précisent pas l’organisation ou l’équipe à l’origine du benchmark.

Multi-SWE-Bench est un benchmark public publié en 2025 par ByteDance, via l’équipe Seed / Doubao. Il évalue la capacité des LLM à résoudre des problèmes logiciels réels issus de dépôts GitHub, en générant des correctifs validés par les tests du projet concerné.

MCP Atlas est un benchmark public conçu par Scale AI pour évaluer la capacité des modèles d’IA à utiliser des outils à grande échelle. Il cible des tâches agentiques complexes, dans lesquelles un modèle doit coordonner plusieurs serveurs et outils MCP réels pour progresser sur des…

LiveCodeBench Pro est un benchmark d’évaluation des grands modèles de langage pour le code, centré sur la résolution de problèmes de programmation compétitive. Créé en 2025 par l’équipe LiveCodeBench Pro, dans une collaboration académique incluant Sanjeev Arora et Pramod Viswanath, il…