MedXpertQA

MedXpertQA est un benchmark médical conçu en 2025 par le laboratoire C3I de l’Université Tsinghua. Il évalue les connaissances médicales et le raisonnement clinique de niveau expert à partir de questions issues d’examens médicaux spécialisés.

Son dispositif associe un sous-ensemble textuel et un sous-ensemble multimodal, qui combine images médicales, dossiers patients et résultats d’examens. MedXpertQA sert ainsi à comparer la capacité des modèles à sélectionner une réponse correcte dans des situations cliniques riches, couvrant plusieurs spécialités et systèmes corporels.

Carte d'identité

Classement des modèles (12)

Classement établi sur 12 modèles évalués, dont 9 de grands éditeurs. Score médian de l'ensemble : 53,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MedXpertQA indique qu’un modèle répond correctement à une forte proportion de QCM médicaux experts, aussi bien dans le sous-ensemble Text que dans le sous-ensemble MM. Il reflète donc une maîtrise conjointe des connaissances médicales, du raisonnement clinique et, pour la partie multimodale, de l’exploitation d’images et d’informations cliniques. L’accuracy reste toutefois une mesure de réponses correctes à des choix multiples en anglais, dans le périmètre des spécialités et systèmes couverts. Elle ne représente pas à elle seule l’ensemble des usages médicaux possibles.

Le classement de la base fait apparaître un écart marqué entre la médiane des douze modèles, fixée à 54 %, et Muse Spark (Meta), premier à 78 %. Ce résultat montre une nette avance sur l’ensemble évalué, sans indiquer une saturation complète du benchmark. La prudence reste nécessaire dans les comparaisons, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune. Cette modalité réduit la rigueur comparative et ne permet pas d’écarter, à elle seule, un risque de contamination des questions.

Sources des scores : llm-stats.