Legal

MTEB: Legal est un benchmark public créé par MTEB / MMTEB (embeddings-benchmark) pour évaluer la recherche de documents juridiques dans plusieurs langues. Il couvre notamment la jurisprudence, les statuts, les questions-réponses juridiques et le résumé juridique.

Publié en 2025, cet agrégat de tâches mesure la capacité des modèles à retrouver des contenus pertinents dans différents contextes juridiques. Il fournit ainsi un cadre commun pour comparer des modèles d’embeddings sur des usages spécialisés et multilingues, à l’aide de nDCG@10 et de métriques adaptées à chaque tâche.

Carte d'identité

Classement des modèles (156)

Classement établi sur 156 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 39,9 %.

Notre analyse

Un score élevé sur MTEB: Legal indique qu’un modèle classe efficacement les documents juridiques pertinents parmi les premiers résultats, sur un ensemble couvrant plusieurs types de contenus et plusieurs langues. Dans la base observée, Mira190/Euler-Legal-Embedding-V1 atteint 70 %, contre une médiane de 40 % pour 155 modèles. Cet écart révèle une forte différenciation entre les systèmes évalués et ne suggère pas de saturation générale du classement.

L’interprétation doit toutefois rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui réduit l’homogénéité de la vérification par rapport à une évaluation entièrement mesurée dans un cadre unique. L’accès public au benchmark peut aussi favoriser une adaptation spécifique aux tâches, avec un risque de contamination entre données d’évaluation et processus de développement. Enfin, sa portée reste celle de la recherche juridique, des questions-réponses et du résumé juridique multilingues. Le classement renseigne donc sur ces capacités ciblées, plutôt que sur les performances générales d’un modèle hors de ce périmètre.

Sources des scores : mteb.