ExploitBench

ExploitBench est un benchmark de cybersécurité conçu pour évaluer la capacité d’un modèle à découvrir puis à exploiter des vulnérabilités logicielles. Il repose sur des défis dans lesquels la réussite correspond à la capture d’une cible.

À l’intersection des agents, du code et de la safety, ExploitBench mesure la part de défis menés à bien, exprimée par l’indicateur Cap%. Il sert ainsi à comparer les performances offensives des modèles dans un cadre standardisé, centré sur l’exécution effective d’une exploitation.

Carte d'identité

Classement des modèles (4)

Classement établi sur 4 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 63,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle capture la cible dans une forte proportion des défis. Il traduit donc une meilleure efficacité sur les tâches couvertes, de la découverte d’une vulnérabilité à son exploitation. Claude Fable 5 domine les quatre modèles recensés avec 78%, tandis que la médiane s’établit à 63%, ce qui signale un avantage net du premier modèle sur le niveau central de l’ensemble.

La lecture du classement exige toutefois de distinguer le résultat mesuré de sa provenance. Les scores étant majoritairement auto-déclarés par les éditeurs, leur comparabilité dépend de l’application cohérente du protocole et ne possède pas la même robustesse qu’une évaluation indépendante. La portée reste circonscrite à la capture de cibles dans des défis de vulnérabilités logicielles. Un bon résultat ne résume donc pas, à lui seul, l’ensemble des capacités en code, en agents ou en safety. Comme pour tout benchmark, une éventuelle saturation réduirait son pouvoir discriminant, tandis qu’une contamination des défis pourrait gonfler les performances. Le classement révèle surtout l’efficacité relative des modèles sur ce cadre précis.

Sources des scores : llm-stats.