Program Bench

Program Bench est un benchmark créé par ses auteurs pour évaluer des agents de génération de code dans un contexte de rétro-ingénierie comportementale. Chaque agent doit recréer le fonctionnement d’un programme à partir de son binaire compilé et de sa documentation, sans disposer du code source.

Le benchmark couvre aussi bien de petits outils en ligne de commande que de grands systèmes comme FFmpeg et SQLite. Il mesure la capacité des modèles à produire une implémentation dont le comportement correspond au programme de référence, à travers un vaste ensemble de tests générés par fuzzing.

Carte d'identité

Classement des modèles (5)

Classement établi sur 5 modèles évalués. Score médian de l'ensemble : 53,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un agent reproduit correctement une grande part des comportements vérifiés, y compris sur des entrées générées pour explorer de nombreux cas. Les plus de 248 000 tests apportent une évaluation comportementale étendue, plus robuste qu’une simple inspection du code produit. Cette rigueur doit toutefois être distinguée de la provenance des résultats : les scores de la base sont majoritairement auto-déclarés par les éditeurs, ce qui limite leur homogénéité et leur vérification indépendante. Le corpus fixe de 200 tâches crée aussi un risque de contamination en cas d’exposition préalable aux binaires, aux documentations ou aux tâches. Sa portée reste centrée sur la reconstruction de programmes et ne résume donc pas toutes les dimensions du coding. Avec Kimi K3 à 78 %, contre une médiane de 54 % sur les cinq modèles évalués, le classement montre un avantage net du leader et ne suggère pas encore une saturation complète du benchmark. Ce constat reste néanmoins fondé sur un ensemble restreint de modèles.

Sources des scores : llm-stats.