Code

MTEB: Code est un benchmark public créé en 2024 par la communauté MTEB / embeddings-benchmark. Il évalue la qualité de récupération de code dans un large éventail de langages de programmation, à partir de requêtes formulées en anglais.

Ses tâches couvrent la recherche de code, le text-to-SQL et le retour sur code. Le benchmark sert ainsi à comparer la capacité des modèles à retrouver des résultats pertinents dans différents contextes de programmation, au moyen d’un cadre commun centré sur la récupération.

Carte d'identité

Classement des modèles (42)

Classement établi sur 42 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 69,2 %.

Notre analyse

Un score NDCG@10 élevé indique que le modèle place davantage de résultats pertinents parmi les dix premières réponses, avec une meilleure valorisation des résultats correctement classés en tête. Dans la base, 42 modèles sont évalués et le score médian atteint 69 %. codefuse-ai/F2LLM-v2-14B, publié par codefuse-ai, obtient le meilleur résultat à 81 %. Cet écart avec la médiane montre une hiérarchie encore visible, sans concentration complète des modèles au sommet.

L’interprétation du classement exige toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans une procédure de mesure entièrement centralisée. Cette caractéristique peut réduire l’homogénéité des comparaisons. La portée du benchmark reste celle de la récupération de code, sur 12 tâches couvrant plus de 14 langages, et non celle de l’ensemble des aptitudes de programmation. La diversité des tâches limite une lecture fondée sur un seul usage, mais un résultat global peut masquer des écarts entre code search, text-to-SQL et code feedback. Comme pour tout classement public, saturation et contamination constituent des points de vigilance lors de l’interprétation des performances.

Sources des scores : mteb.