BEIR-NL

MTEB: BEIR-NL est un benchmark public consacré à la recherche d’information zero-shot en néerlandais. Publié en 2024 par Banar, Lotfi et Daelemans, du CLiPS à l’Université d’Anvers, il repose sur une traduction automatique de la suite de tâches BEIR initialement conçue en anglais.

Il mesure la capacité des modèles à retrouver et classer des contenus pertinents sans adaptation préalable aux tâches évaluées. Son intégration à MTEB permet de comparer qualitativement les performances de modèles de recherche sur un ensemble commun de tâches néerlandophones.

Carte d'identité

Classement des modèles (15)

Classement établi sur 15 modèles évalués. Score médian de l'ensemble : 42,4 %.

Notre analyse

Un score nDCG@10 élevé indique que les résultats pertinents tendent à apparaître parmi les dix premières positions, avec un avantage accordé à ceux placés le plus haut. Dans la base, infly/inf-retriever-v1 domine les quinze modèles évalués avec 55 %, tandis que la médiane atteint 42 %. Cet écart montre une différenciation réelle entre le meilleur modèle et le niveau central. Le meilleur résultat reste aussi nettement sous le plafond de la métrique, ce qui ne signale pas de saturation apparente du benchmark.

La comparaison doit toutefois être interprétée avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt qu’obtenus dans un protocole indépendant et uniformément reproduit. La portée demeure ciblée sur la recherche d’information zero-shot en néerlandais et sur les tâches issues de BEIR. La traduction automatique peut également transmettre des caractéristiques de la suite anglaise originale. Enfin, le cadre zero-shot ne suffit pas, à lui seul, à écarter un éventuel effet de contamination provenant de cette source. Le classement reflète donc surtout l’efficacité relative des modèles sur cette déclinaison néerlandaise traduite.

Sources des scores : mteb.