LiveCodeBench v6

LiveCodeBench v6 est un benchmark conçu en 2025 par l’équipe LiveCodeBench, réunissant notamment des chercheurs de l’UC Berkeley, du MIT et de Cornell. Il propose une évaluation holistique et sans contamination des grands modèles de langage appliqués au code.

À partir de problèmes issus de concours de programmation, il mesure la génération de code ainsi que l’auto-réparation, l’exécution et la prédiction de résultats de tests. La datation des problèmes permet d’évaluer les modèles sur des exercices publiés après leur période d’entraînement.

Carte d'identité

Classement des modèles (53)

Classement établi sur 53 modèles évalués, dont 10 de grands éditeurs. Score médian de l'ensemble : 71,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé à LiveCodeBench v6 indique qu’un modèle résout fréquemment les problèmes dès la première tentative, selon la métrique pass@1, tandis que pass@5 mesure la réussite sur plusieurs essais. L’évaluation couvre plusieurs capacités connexes, ce qui offre une lecture plus large que la seule production initiale de code. Sa collecte continue et la présence de dates de publication renforcent la lutte contre la contamination en permettant de sélectionner des problèmes postérieurs à la date de fin d’entraînement d’un modèle.

La portée reste toutefois centrée sur des problèmes de programmation compétitive en Python, issus de LeetCode, AtCoder et CodeForces. Les résultats ne décrivent donc pas toutes les formes de développement logiciel. Avec une médiane de 72 % parmi 53 modèles et un meilleur score de 92 % pour Qwen3.7 Max, le classement montre un niveau global déjà élevé et un écart encore visible au sommet. Cette proximité avec le plafond peut réduire progressivement le pouvoir discriminant. Enfin, les scores étant majoritairement auto-déclarés par les éditeurs, leur comparabilité dépend de l’application cohérente du protocole.

Sources des scores : llm-stats.