NL2Repo

Publié en 2025, NL2Repo est un benchmark public consacré au codage à long horizon. Il demande aux modèles de produire une bibliothèque Python complète à partir d’une spécification rédigée en langage naturel, plutôt que de résoudre un exercice isolé ou de générer un simple fragment de code.

L’évaluation porte sur la conception architecturale, la gestion des dépendances, l’implémentation dans plusieurs fichiers et le packaging autonome d’un dépôt. NL2Repo sert ainsi à mesurer la capacité des modèles à conduire un projet logiciel cohérent à l’échelle d’un dépôt entier.

Carte d'identité

Classement des modèles (12)

Classement établi sur 12 modèles évalués. Score médian de l'ensemble : 42,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’une plus grande proportion des tests associés aux dépôts générés est réussie. Il reflète donc la capacité à transformer une spécification en bibliothèque Python fonctionnelle, avec une architecture, des dépendances et des fichiers correctement articulés. Cette métrique mesure un résultat exécutable, mais la fiabilité comparative doit être nuancée puisque les scores disponibles sont majoritairement auto-déclarés par les éditeurs, plutôt qu’établis dans un cadre de mesure entièrement homogène.

Le meilleur résultat, obtenu par GLM-5.2 à 49 %, reste inférieur à la moitié des tests réussis, ce qui ne suggère pas une saturation du benchmark. Face à une médiane de 42 % sur les 11 modèles évalués, l’écart avec la tête du classement demeure limité et montre que les performances restent regroupées. La portée de NL2Repo est ciblée : spécifications en anglais, génération de bibliothèques Python et tâches de dépôt complet. Son caractère public impose aussi de considérer le risque de contamination lors de l’interprétation des résultats.

Sources des scores : llm-stats.