Code Information Retrieval

MTEB: Code Information Retrieval est un benchmark public créé en 2024 par la CoIR team de Huawei Noah's Ark Lab. Il évalue la capacité des modèles à retrouver des informations pertinentes dans du code, à travers plusieurs langages de programmation et différents contextes techniques.

Son périmètre couvre notamment la recherche de code, la question-réponse sur du code et la récupération text-to-SQL. Il sert ainsi à comparer les modèles sur des tâches où une requête en anglais doit conduire aux éléments de code les plus pertinents.

Carte d'identité

Classement des modèles (48)

Classement établi sur 48 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 68,6 %.

Notre analyse

Un score NDCG@10 élevé indique que le modèle place plus efficacement les résultats pertinents parmi les dix premières réponses. Avec une médiane de 69 % sur 48 modèles et un meilleur score de 80 % pour codefuse-ai/F2LLM-v2-14B, le classement montre un écart notable entre le niveau central et la meilleure performance, sans signaler une saturation complète du benchmark.

La lecture des résultats exige toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs. Cette méthode offre un cadre de comparaison commun, mais elle est moins rigoureuse qu'une évaluation indépendante réalisée dans des conditions uniformes. Le caractère public du benchmark implique aussi un risque de contamination si ses contenus sont intégrés aux données d'entraînement ou d'optimisation. Enfin, sa portée reste centrée sur la récupération d'information sur le code, dans dix datasets, huit tâches et sept domaines. Le classement renseigne donc sur cette capacité précise, et non sur l'ensemble des compétences de programmation d'un modèle.

Sources des scores : mteb.