LiveCodeBench

Créé par Naman Jain et al. en 2024, LiveCodeBench est un benchmark évolutif consacré aux grands modèles de langage spécialisés dans le code. Il collecte en continu des problèmes récents issus de concours de programmation afin de limiter la contamination par les données d’entraînement.

Son évaluation couvre la génération et la réparation de code, le raisonnement sur son exécution et la prédiction de sorties de tests. Les dates de publication des problèmes permettent de cibler des exercices apparus après la date de clôture de l’entraînement d’un modèle.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (72)

Classement établi sur 72 modèles évalués, dont 52 de grands éditeurs. Score médian de l'ensemble : 55,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle résout correctement une forte proportion de problèmes récents, selon le pass@1 ou l’accuracy retenu pour chaque tâche. Il reflète donc à la fois la production de code correct, la capacité d’autocorrection et le raisonnement sur l’exécution. L’évaluation gagne en rigueur grâce au renouvellement des exercices et à leur datation, qui réduisent le risque qu’un modèle ait déjà rencontré les problèmes. La fiabilité comparative reste toutefois à nuancer, car les scores de la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant unique.

Parmi les 72 modèles évalués, une médiane à 55 % et un meilleur résultat de 94 % pour DeepSeek-V4-Pro-Max montrent un écart important entre le niveau central et la tête du classement. La proximité du meilleur score avec 100 % peut aussi signaler un risque de saturation au sommet. LiveCodeBench reste centré sur des problèmes anglophones de programmation compétitive issus de LeetCode, AtCoder et CodeForces. Son classement caractérise donc ces tâches précises, et non l’ensemble des usages possibles du code.

Sources des scores : llm-stats.