HumanEval

Créé par OpenAI en 2021, HumanEval est un benchmark de génération de code qui évalue la capacité d’un modèle à transformer une spécification rédigée en langage naturel en un programme Python fonctionnel.

À partir de docstrings en anglais, il sollicite la compréhension des consignes, le raisonnement algorithmique, la manipulation de chaînes et de listes, ainsi que des mathématiques simples. Il sert à comparer la correction fonctionnelle du code produit, plutôt que sa seule plausibilité syntaxique.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (65)

Classement établi sur 65 modèles évalués, dont 47 de grands éditeurs. Score médian de l'ensemble : 85,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score pass@1 élevé signifie qu’un modèle résout correctement une grande part des problèmes dès sa première proposition. Dans la base, la médiane de 85 % et le meilleur résultat de 95 %, obtenu par MiniCPM-SALA (OpenBMB), signalent des performances déjà très concentrées vers le haut. Cette proximité favorise un effet de saturation et réduit le pouvoir discriminant du benchmark entre les modèles les plus performants.

La lecture du classement exige toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une évaluation centralisée. Le caractère public du jeu crée aussi un risque de contamination, les problèmes pouvant avoir été rencontrés pendant l’entraînement. Enfin, HumanEval couvre une portée ciblée : synthèse de fonctions Python depuis des docstrings en anglais, avec des tâches algorithmiques et mathématiques simples. Le classement renseigne donc surtout sur cette forme précise de génération de code, et non sur l’ensemble des capacités de programmation.

Sources des scores : llm-stats.