Coding (Baseline)

Benchable : Coding (Baseline) est un benchmark public créé par Benchable pour tester les connaissances générales en programmation. Il prend la forme de questions à choix multiple en anglais, avec six réponses possibles, et couvre plusieurs langages ainsi que différents niveaux de difficulté.

Son contenu va de la syntaxe élémentaire aux algorithmes, structures de données, bases de données, réseaux, design patterns et mécanismes de concurrence. Il sert à comparer la capacité des modèles à reconnaître précisément une réponse correcte dans un large éventail de sujets techniques.

Carte d'identité

Classement des modèles (163)

Classement établi sur 163 modèles évalués, dont 69 de grands éditeurs. Score médian de l'ensemble : 89,0 %.

Notre analyse

Un score élevé indique une forte maîtrise des connaissances de programmation couvertes et une bonne capacité à sélectionner la réponse attendue parmi six options. La validation par Exact Match sur la lettre fournie rend la notation stricte et reproductible, sans crédit partiel. Les scores sont au moins partiellement mesurés par un tiers, ce qui leur confère une assise plus robuste que des résultats uniquement auto-déclarés.

Le score médian de 89 % parmi 254 modèles et le résultat parfait de Qwen3 VL 32B Instruct suggèrent toutefois une saturation importante du benchmark. Les écarts en tête du classement peuvent donc devenir faibles et moins discriminants. Son accès public crée aussi un risque de contamination, les questions pouvant avoir été intégrées à des corpus d'entraînement ou d'évaluation. Enfin, sa portée reste celle d'un QCM de connaissances : il évalue la reconnaissance d'une option correcte dans plusieurs langages et domaines, plutôt que la production directe de code. Le classement révèle ainsi un niveau globalement élevé, avec au moins un modèle atteignant le plafond du test.

Sources des scores : benchable.