RTEB Healthcare

MTEB: RTEB Healthcare est un benchmark créé par Hugging Face dans le cadre du projet RTEB / embedding-benchmark. Ce sous-ensemble spécialisé évalue la qualité de récupération d’embeddings dans les domaines de la santé et de la médecine, à partir de tâches représentatives d’usages réels en production.

Il couvre notamment les questions-réponses médicales, la recherche d’informations de santé et la consultation médicale multilingue. Son rôle est de comparer la capacité des modèles à retrouver et à classer des contenus pertinents dans un contexte médical, y compris entre plusieurs langues.

Carte d'identité

Classement des modèles (95)

Classement établi sur 95 modèles évalués, dont 8 de grands éditeurs. Score médian de l'ensemble : 55,0 %.

Notre analyse

Un score NDCG@10 élevé indique que le modèle place plus efficacement les résultats pertinents parmi les dix premières positions, en accordant davantage de valeur aux documents correctement classés en tête. Sur les 93 modèles évalués dans la base, voyageai/voyage-4-large (embed_dim=2048, evolved_prompts=True) atteint 74 %, contre une médiane de 54 %. Cet écart révèle une différenciation encore nette entre le meilleur résultat et le niveau central du classement, sans signe de saturation complète à son sommet.

L’interprétation doit néanmoins rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui offre une rigueur moindre qu’une évaluation entièrement mesurée et reproduite par une instance indépendante. Le jeu de test privé, dont les réponses ne sont pas divulguées, contribue à limiter l’exposition directe des cibles d’évaluation. RTEB Healthcare comprend toutefois des jeux ouverts et fermés, ce qui invite à considérer le risque de contamination différemment selon les tâches. Enfin, sa portée demeure spécialisée : le classement renseigne sur la récupération médicale et sanitaire multilingue, et non sur les capacités générales des modèles hors de ce domaine.

Sources des scores : mteb.