OJBench

OJBench est un benchmark de raisonnement de code de niveau compétition, créé par BUPT et Moonshot AI. Il soumet les modèles à des problèmes issus de la programmation compétitive, dont les solutions générées en Python ou en C++ sont vérifiées par un juge en ligne.

Son objectif est d’évaluer la capacité des grands modèles de langage à élaborer des algorithmes avancés et à produire un code effectivement accepté. La répartition des problèmes par difficulté permet d’observer les performances au-delà d’un score global.

Carte d'identité

Classement des modèles (9)

Classement établi sur 9 modèles évalués. Score médian de l'ensemble : 36,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur OJBench indique qu’un modèle résout fréquemment des problèmes de compétition en produisant du code accepté par l’online judge. Cette validation par exécution apporte un critère plus rigoureux qu’une appréciation textuelle, puisque la solution doit satisfaire les tests du juge. La fiabilité comparative reste toutefois à nuancer, car les scores recensés sont majoritairement auto-déclarés par les éditeurs.

Avec un score médian de 36 % parmi les neuf modèles évalués et un meilleur résultat de 61 % pour Kimi K2.6, le classement fait apparaître une avance nette en tête, mais aussi une marge de progression importante. Il ne semble donc pas saturé dans cette sélection. Sa portée demeure ciblée sur le raisonnement algorithmique de compétition, à partir de problèmes NOI et ICPC, et ne représente pas l’ensemble des compétences de programmation. Enfin, son accès public peut favoriser une contamination des évaluations si les problèmes ou leurs solutions se retrouvent dans les données utilisées par les modèles.

Sources des scores : llm-stats.