Long-context Retrieval

MTEB: Long-context Retrieval est un benchmark consacré à la recherche d’information dans des documents longs. Créé par les auteurs de LongEmbed, Dawei Zhu et al., puis intégré à MTEB, il associe des tâches synthétiques et réelles afin d’examiner des contextes de longueur variable où l’information cible peut être dispersée.

Il mesure la capacité des modèles d’embeddings à retrouver les documents pertinents malgré l’allongement du contexte. Il complète ainsi l’évaluation du retrieval en mettant spécifiquement l’accent sur la gestion de contenus longs, plutôt que sur les seules performances obtenues avec des passages courts.

Carte d'identité

Classement des modèles (169)

Classement établi sur 169 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 37,8 %.

Notre analyse

Un score nDCG@10 élevé indique que le modèle place plus efficacement les documents pertinents parmi ses dix premiers résultats, y compris lorsque l’information recherchée est répartie dans de longs contenus. Le meilleur résultat, obtenu par lightonai/GTE-ModernColBERT-v1, est nettement supérieur au score médian des 169 modèles recensés. Cet écart révèle une forte différenciation entre les systèmes et montre que la majorité reste loin de la performance de tête. Un score de 91 % se rapproche toutefois du plafond de la métrique, ce qui peut réduire la capacité du benchmark à départager de futures améliorations au sommet. La rigueur comparative doit aussi être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans un cadre de mesure uniforme. L’accès public peut par ailleurs favoriser l’exposition préalable des modèles aux tâches, avec un risque de contamination des évaluations. Enfin, la portée demeure ciblée sur le retrieval long en anglais, à travers six tâches synthétiques et réelles. Ces résultats ne décrivent donc pas les autres capacités des modèles ni leur comportement dans d’autres langues.

Sources des scores : mteb.