SmartScripto Admin

t2-bench

t2-bench est un benchmark consacré aux agents conversationnels capables d’utiliser des outils dans des tâches agentiques multi-étapes. Créé par Victor Barres et al. chez Sierra, il évalue la capacité d’un modèle à choisir, ordonner et exploiter des outils pour résoudre des scénarios…

SWE-Lancer (IC-Diamond subset)

SWE-Lancer (IC-Diamond subset) est un benchmark créé par OpenAI pour évaluer des agents d’IA sur des tâches d’ingénierie logicielle issues de missions freelance réelles. Il porte sur la correction de bugs et l’implémentation de fonctionnalités dans un dépôt applicatif existant, avec une…

SWE-Lancer

SWE-Lancer est un benchmark créé par OpenAI pour évaluer des modèles de langage sur des tâches réelles d’ingénierie logicielle freelance issues d’Upwork. Il couvre des corrections de bugs, des implémentations de fonctionnalités et des choix de propositions techniques, avec un ancrage…

SWE-Bench Verified

SWE-Bench Verified est un benchmark consacré à la résolution d’issues logicielles réelles. Créé par OpenAI et l’équipe SWE-bench de Princeton NLP, il sert à évaluer la capacité des modèles à comprendre un problème décrit en anglais, à explorer une base de code Python et à produire un…

SWE-Bench Pro

SWE-Bench Pro est un benchmark d’évaluation des agents IA appliqué au génie logiciel réel. Créé par Xiang Deng et al. chez Scale AI, il prolonge SWE-Bench avec des tâches plus complexes, orientées vers la résolution d’issues et la production de patches répartis sur plusieurs fichiers.

SWE-bench Multilingual

SWE-bench Multilingual est un benchmark d’ingénierie logicielle consacré à la résolution d’issues GitHub dans plusieurs langages de programmation. Créé par ByteDance Seed et publié en 2025, il évalue la capacité des modèles à comprendre un dépôt, raisonner sur un bug, puis générer ou…

SuperGPQA

SuperGPQA est un benchmark public conçu pour évaluer les grands modèles de langage sur des connaissances académiques avancées et du raisonnement de niveau master ou doctorat. Créé par M-A-P, ByteDance Seed et 2077.AI, il couvre un très large spectre de disciplines, y compris des domaines…