RTEB German

MTEB: RTEB German est un benchmark communautaire publié par l’équipe MTEB et Hugging Face, avec notamment K. Enevoldsen. Il constitue le sous-ensemble germanophone de RTEB et évalue la qualité de récupération d’information dans des contextes juridiques, médicaux et professionnels.

Ses tâches visent à représenter des besoins de production concrets. Le benchmark sert à comparer la capacité des modèles à faire remonter les documents les plus pertinents en allemand, au moyen de NDCG@10, sur un ensemble associant jeux publics et évaluations fermées.

Carte d'identité

Classement des modèles (207)

Classement établi sur 207 modèles évalués, dont 10 de grands éditeurs. Score médian de l'ensemble : 26,0 %.

Notre analyse

Un score élevé indique qu’un modèle classe efficacement les résultats pertinents parmi les dix premières réponses, dans les domaines couverts. L’écart entre la médiane de la base, 25 %, et le meilleur résultat, 77 % pour voyageai/voyage-4-large (embed_dim=2048, evolved_prompts=True), révèle une forte différenciation entre les 204 modèles évalués. Le niveau maximal observé reste éloigné du plafond théorique, ce qui ne suggère pas une saturation complète du benchmark.

La rigueur doit toutefois être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un processus entièrement centralisé. L’association de jeux ouverts et fermés apporte un garde-fou partiel contre la contamination, sans l’écarter totalement. Les résultats privés nécessitent en outre une soumission auprès du projet MTEB, tandis que la colonne « Private » a été temporairement retirée. Enfin, la portée du classement reste ciblée sur la récupération en allemand et sur les contextes juridique, santé et entreprise. Il caractérise donc une aptitude spécialisée, représentative de demandes de production, plutôt qu’une performance générale dans toutes les langues ou tâches d’IA.

Sources des scores : mteb.