Reasoning Retrieval

MTEB: Reasoning Retrieval est un benchmark de recherche documentaire conçu pour évaluer la capacité des modèles à relier des requêtes à des documents pertinents lorsque cette association exige un raisonnement approfondi, au-delà de simples ressemblances lexicales.

Créé en 2024 par BRIGHT, avec Hongjin Su, Howard Yen, Mengzhou Xia et leurs coauteurs, il repose sur des requêtes réelles couvrant notamment l’économie, la psychologie, les mathématiques et le code. Il permet ainsi de comparer la qualité des modèles de retrieval dans des situations variées, issues de données humaines naturelles et soigneusement sélectionnées.

Carte d'identité

Classement des modèles (28)

Classement établi sur 28 modèles évalués, dont 2 de grands éditeurs. Score médian de l'ensemble : 15,2 %.

Notre analyse

Un score nDCG@10 élevé indique que le modèle place plus efficacement les documents pertinents parmi ses dix premiers résultats, y compris lorsque leur lien avec la requête nécessite plusieurs étapes de raisonnement. Dans la base évaluée, la médiane de 15 % et le meilleur score de 27 %, obtenu par ByteDance-Seed/Seed1.5-Embedding, montrent un avantage net du premier modèle, mais aussi une performance globale encore éloignée d’une saturation apparente.

La comparaison doit néanmoins rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans le cadre d’une mesure indépendante uniforme. Le recours à des requêtes réelles et à des données humaines soigneusement sélectionnées renforce l’ancrage pratique du benchmark. Sa portée reste toutefois circonscrite au retrieval intensif en raisonnement, en anglais, dans les domaines représentés par ses tâches. Le classement renseigne donc sur cette aptitude précise, sans constituer une mesure générale de toutes les capacités d’un modèle. L’utilisation de requêtes naturellement produites appelle également à surveiller le risque de contamination lors de comparaisons futures.

Sources des scores : mteb.