FrontierSWE

FrontierSWE est un benchmark créé par Proximal (Proximal-Labs) pour évaluer la capacité d’agents d’IA à mener des projets techniques ouverts sur des horizons allant de plusieurs heures à plusieurs dizaines d’heures.

Ses tâches couvrent notamment l’optimisation de systèmes, la construction de code à grande échelle et la recherche appliquée en machine learning. Il sert ainsi à mesurer non seulement l’implémentation, mais aussi la capacité à poursuivre un objectif complexe, à optimiser une solution et à produire un résultat performant dans la durée.

Carte d'identité

Classement des modèles (14)

Classement établi sur 14 modèles évalués, dont 8 de grands éditeurs. Score médian de l'ensemble : 55,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur FrontierSWE traduit une forte capacité à achever des tâches d’ingénierie ouvertes et à obtenir de bonnes performances après une exécution prolongée. Le classement met en évidence un écart important entre la médiane de 54 % des 13 modèles évalués et Claude Fable 5, qui atteint 90 %. Ce résultat place nettement le meilleur modèle au-dessus du niveau central de l’ensemble, tout en laissant une marge avant le plafond, ce qui ne signale pas une saturation complète du benchmark.

La durée d’exécution et l’extrême difficulté des tâches renforcent la portée pratique de l’évaluation. Toutefois, les scores étant majoritairement auto-déclarés par les éditeurs, leur comparabilité dépend de la rigueur des protocoles appliqués par chacun. Le jeu de test privé et les réponses non divulguées limitent l’exposition directe aux solutions, ce qui réduit le risque de contamination sans l’annuler nécessairement. Enfin, le petit ensemble de tâches, en anglais et centré sur quelques domaines techniques, restreint la portée du classement à l’ingénierie agentique ultra-long-horizon plutôt qu’aux capacités générales des modèles.

Sources des scores : llm-stats.