RTEB Finance

MTEB: RTEB Finance est un benchmark créé par Hugging Face et le projet MTEB (embeddings-benchmark). Ce sous-ensemble spécialisé de RTEB évalue la qualité de récupération de documents dans le domaine financier, notamment pour les questions-réponses, les documents financiers et la gouvernance d’entreprise.

Il mesure la capacité des modèles d’embeddings à retrouver des contenus pertinents face à des demandes représentatives d’usages réels en production. Il sert ainsi à comparer les performances de retrieval spécialisé, au-delà d’une évaluation généraliste des représentations textuelles.

Carte d'identité

Classement des modèles (95)

Classement établi sur 95 modèles évalués, dont 9 de grands éditeurs. Score médian de l'ensemble : 58,6 %.

Notre analyse

Un score NDCG@10 élevé indique que le modèle place plus efficacement les documents pertinents parmi les dix premiers résultats. Le classement fait apparaître un écart marqué entre la médiane de 58 % sur 93 modèles et les 87 % de voyageai/voyage-4-large (embed_dim=2048, evolved_prompts=True), ce qui distingue nettement le meilleur résultat sans suggérer une saturation générale du benchmark.

La rigueur doit toutefois être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs. Le jeu de test privé, dont les réponses ne sont pas divulguées, réduit l’exposition directe des résultats attendus sur les tâches concernées. L’ensemble combine néanmoins des jeux ouverts et fermés, ce qui implique des niveaux d’exposition différents et ne permet pas d’écarter uniformément le risque de contamination. Enfin, la portée reste spécialisée dans la finance et le sous-ensemble est majoritairement anglophone, même si RTEB couvre environ vingt langues. Le classement renseigne donc avant tout sur l’efficacité du retrieval financier dans ce cadre précis, plutôt que sur les capacités générales des modèles d’embeddings.

Sources des scores : mteb.