FrontierCode 1.1

FrontierCode 1.1 est un benchmark conçu pour évaluer des agents de programmation sur des tâches concrètes de modification de code au sein de dépôts logiciels. Les consignes demandent de comprendre une base de code, d’interpréter une demande de changement et de produire une solution robuste.

L’évaluation cherche à déterminer si les modifications générées sont suffisamment correctes et fiables pour être fusionnées. Elle situe ainsi les modèles selon leur aptitude à mener un travail de développement agentique jusqu’à un résultat exploitable.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (15)

Classement établi sur 15 modèles évalués, dont 12 de grands éditeurs. Score médian de l'ensemble : 41,3 %.

Notre analyse

Un score élevé indique que les changements proposés satisfont davantage les critères de mergeabilité définis par le benchmark. L’évaluation combine des tests unitaires, des rubriques établies par des mainteneurs et des vérificateurs, ce qui couvre plusieurs dimensions de la qualité d’une modification. Les exécutions signalées pour un usage déloyal d’internet reçoivent un score nul, afin de limiter cet avantage. La portée reste toutefois ciblée sur la modification agentique de dépôts à partir de consignes en anglais. Elle ne résume donc pas l’ensemble des capacités de programmation d’un modèle. Les résultats disponibles ne suggèrent pas de saturation au sommet, puisque le meilleur score atteint 54 %. Leur interprétation appelle néanmoins de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière indépendante. Dans la base évaluée, Claude Fable 5 se détache avec 54 %, tandis que la médiane de 41 % montre qu’une part importante des modèles produit encore des changements moins régulièrement mergeables selon ce protocole.

Sources des scores : llm-stats.