CoREB

MTEB: CoREB est un benchmark public consacré à la qualité des embeddings et du reranking de code. Publié en 2026 par les auteurs de « Beyond Retrieval: A Multitask Benchmark and Model for Code Search », il couvre la recherche code-vers-texte, texte-vers-code et code-vers-code.

À partir de problèmes LiveCodeBench réécrits de façon contrefactuelle dans cinq langages de programmation, il vise à limiter la contamination par les données d’entraînement. Il sert ainsi à comparer la capacité des modèles à représenter le code et à classer les résultats pertinents.

Carte d'identité

Classement des modèles (18)

Classement établi sur 18 modèles évalués. Score médian de l'ensemble : 57,8 %.

Notre analyse

Un score nDCG@10 élevé indique que le modèle place plus efficacement les résultats pertinents parmi les dix premières réponses, dans les trois directions de recherche couvertes. L’évaluation porte donc à la fois sur la qualité des représentations de code et sur celle du reclassement. Les réécritures contrefactuelles et les releases datées renforcent la rigueur du protocole en cherchant à réduire la contamination, sans pour autant l’éliminer nécessairement.

La lecture du classement appelle toutefois à la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière indépendante. Parmi les 18 modèles recensés, codefuse-ai/C2LLM-7B obtient 60 %, contre une médiane de 58 %. Cet écart réduit montre un classement resserré autour du meilleur résultat observé et limite la portée pratique de faibles différences de score. Il peut aussi signaler une discrimination limitée dans cette zone, sans suffire à établir une saturation générale. Enfin, la portée reste centrée sur le retrieval et le reranking de code, dans les cinq langages et les transformations de problèmes retenus.

Sources des scores : mteb.