BEIR

MTEB: BEIR est un benchmark créé par Nandan Thakur et al. en 2021 pour évaluer la recherche d’information zero-shot. Il confronte les modèles à des requêtes associées à des corpus de documents qu’ils doivent classer, dans un ensemble hétérogène de tâches et de domaines.

Intégré au cadre d’évaluation MTEB, il fournit une base commune pour comparer la qualité de modèles de recherche fondés sur le traitement automatique du langage. Cette diversité vise à mesurer leur capacité de généralisation au-delà d’un domaine ou d’un type de requête unique.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (191)

Classement établi sur 191 modèles évalués, dont 8 de grands éditeurs. Score médian de l'ensemble : 50,3 %.

Notre analyse

Un score nDCG@10 élevé indique que le modèle place plus efficacement les documents pertinents parmi les dix premiers résultats. Le classement fait apparaître un écart notable entre la médiane de 50 % des 191 modèles évalués et les 68 % de voyageai/voyage-3-m-exp, développé par Voyage AI. Cet écart montre que le benchmark conserve une capacité de différenciation et ne paraît pas saturé au sommet.

La comparaison doit néanmoins être interprétée avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans le cadre d’une mesure indépendante uniforme. Le caractère public du benchmark peut aussi accroître le risque que ses contenus aient été exposés durant le développement des modèles, ce qui peut affecter la portée de l’évaluation zero-shot. Enfin, MTEB: BEIR mesure spécifiquement la recherche d’information en anglais. Sa variété de corpus, de domaines et de requêtes renforce sa pertinence pour ce cadre, mais les résultats décrivent avant tout la qualité du classement documentaire sur ces tâches.

Sources des scores : mteb.