Medical

MTEB: Medical est un benchmark public créé en 2025 par MTEB / MMTEB (embeddings-benchmark). Il évalue la recherche d’information médicale dans des contenus cliniques, biomédicaux et destinés au grand public.

Son agrégat de tâches couvre le retrieval, le reranking et le clustering, principalement sur des textes anglais, avec quelques autres langues. Il sert à comparer la capacité des modèles d’embeddings à retrouver, ordonner ou regrouper des informations médicales pertinentes dans plusieurs contextes.

Carte d'identité

Classement des modèles (158)

Classement établi sur 158 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 39,2 %.

Notre analyse

Un score élevé traduit une meilleure aptitude à faire remonter les contenus médicaux pertinents, à les réordonner ou à les regrouper selon la tâche. L’interprétation dépend toutefois de la métrique employée, notamment nDCG@10 pour certaines évaluations, et de la diversité des jeux réunis dans l’agrégat. Dans la base, le score médian de 39 % et le meilleur résultat de 67 %, obtenu par Alibaba-NLP/gte-Qwen2-7B-instruct, montrent un écart important entre le niveau central et la tête du classement. Cet écart ne suggère pas une saturation générale du benchmark. La portée reste centrée sur la recherche d’information médicale, principalement en anglais, et ne représente donc pas toutes les capacités possibles d’un modèle. L’accès public impose aussi de considérer le risque de contamination lors de l’interprétation des performances. Enfin, la rigueur comparative est limitée par l’origine des résultats, majoritairement auto-déclarés par les éditeurs, plutôt que mesurés uniformément par une évaluation indépendante.

Sources des scores : mteb.