RTEB Legal

MTEB: RTEB Legal est un benchmark communautaire publié par l’équipe MTEB et Hugging Face, avec notamment K. Enevoldsen. Sous-ensemble juridique de RTEB, il évalue la qualité de récupération d’information dans des contenus spécialisés.

Ses tâches couvrent la jurisprudence, les statuts, le résumé juridique et les questions-réponses multilingues. Il sert à comparer la capacité des modèles d’embeddings à retrouver des résultats pertinents dans des scénarios représentatifs d’usages juridiques en production.

Carte d'identité

Classement des modèles (206)

Classement établi sur 206 modèles évalués, dont 10 de grands éditeurs. Score médian de l'ensemble : 34,3 %.

Notre analyse

Un score NDCG@10 élevé indique que le modèle place plus efficacement les éléments pertinents parmi ses dix premiers résultats, sur l’ensemble des tâches juridiques concernées. Avec une médiane de 34 % parmi 203 modèles et un meilleur résultat de 78 % pour Octen/Octen-Embedding-8B, le classement montre une forte différenciation entre les systèmes et ne suggère pas une saturation générale du benchmark.

La lecture doit néanmoins rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un cadre entièrement centralisé. La coexistence de jeux publics et de tâches privées complique également les comparaisons directes. Les parties ouvertes peuvent être davantage exposées lors du développement des modèles, tandis que les jeux fermés exigent une procédure de soumission spécifique. Le périmètre reste celui de la récupération juridique multilingue, sur des documents de jurisprudence, des statuts, du résumé et des questions-réponses. Le classement renseigne donc sur cette aptitude ciblée, et non sur les capacités juridiques générales d’un modèle.

Sources des scores : mteb.