Coding

LiveBench: Coding est la catégorie consacrée au code de LiveBench, créée par l’équipe réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Elle repose sur des problèmes récents issus de concours de programmation afin de limiter la contamination des évaluations.

Le benchmark mesure les capacités de génération et de complétion de code en anglais. Sa notation automatique s’appuie sur une vérité-terrain objective et vérifiable, sans juge LLM, ce qui permet de comparer les modèles sur des tâches de programmation aux résultats directement contrôlables.

Carte d'identité

Classement des modèles (7)

Classement établi sur 7 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 76,1 %.

Notre analyse

Un score élevé sur LiveBench: Coding indique qu’un modèle réussit fréquemment les tâches de génération et de complétion de code proposées à partir de problèmes récents de concours. L’évaluation bénéficie d’un protocole rigoureux au niveau du benchmark, puisque la notation est automatique, fondée sur une vérité-terrain objective et ne dépend pas de l’appréciation d’un autre LLM. La lecture comparative demande néanmoins de la prudence, car les scores réunis dans la base sont majoritairement auto-déclarés par les éditeurs.

Le classement montre un niveau globalement élevé parmi les 26 modèles évalués, avec une médiane de 78 % et GPT-5.2 Codex en tête à 84 %. L’écart limité entre la médiane et le meilleur résultat peut signaler une différenciation réduite dans la partie haute du classement, voire un début de saturation. Le recours à des problèmes récents vise à limiter la contamination, sans constituer une garantie absolue. Enfin, la portée reste centrée sur le code de concours en anglais, et non sur l’ensemble des usages possibles de la programmation.

Sources des scores : livebench.