MBPP

Créé par Google Research, avec J. Austin et ses coauteurs, MBPP est un benchmark consacré à la génération de code. Il rassemble des problèmes Python issus de contributions participatives, conçus pour être accessibles à des programmeurs débutants.

À partir d’un énoncé en langage naturel, un modèle doit produire un court programme correct, portant sur les fondamentaux de la programmation ou sur la bibliothèque standard. Des tests automatisés vérifient les solutions. MBPP sert ainsi à comparer la capacité des modèles à transformer une consigne en code Python fonctionnel.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (33)

Classement établi sur 33 modèles évalués, dont 20 de grands éditeurs. Score médian de l'ensemble : 76,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score pass@1 élevé indique qu’un modèle produit fréquemment une solution validée dès sa première proposition. Cette mesure est exigeante sur le résultat concret, puisque chaque problème comporte trois cas de test automatisés. La comparabilité doit toutefois être nuancée : dans cette base, les scores sont majoritairement auto-déclarés par les éditeurs, même si leur calcul repose sur des tests exécutables.

Le niveau médian de 76 % parmi 33 modèles et le meilleur résultat de 93 %, obtenu par Sarvam-30B, signalent des performances déjà élevées sur ces exercices. Cet écart montre qu’une marge de différenciation subsiste, mais suggère aussi un risque de saturation à mesure que les modèles approchent du plafond. La disponibilité publique du jeu peut également favoriser une contamination des données d’entraînement et compliquer l’interprétation des progrès. Enfin, la portée reste ciblée : MBPP évalue de courts programmes Python, des notions fondamentales et la bibliothèque standard. Le classement renseigne donc sur cette aptitude précise, et non sur l’ensemble des compétences de développement logiciel.

Sources des scores : llm-stats.