RTEB French

MTEB: RTEB French est un benchmark communautaire créé par l’équipe MTEB et Hugging Face, avec notamment K. Enevoldsen. Il constitue le sous-ensemble francophone de RTEB et évalue des systèmes de récupération d’information dans des contextes juridiques et de connaissances générales.

Ses tâches, représentatives de besoins de production, servent à comparer la capacité des modèles à retrouver et ordonner des contenus pertinents en français. L’ensemble associe des jeux ouverts à des tâches fermées ou privées, dont les résultats sont soumis par l’intermédiaire du projet MTEB.

Carte d'identité

Classement des modèles (216)

Classement établi sur 216 modèles évalués, dont 10 de grands éditeurs. Score médian de l'ensemble : 26,2 %.

Notre analyse

Un score NDCG@10 élevé indique que le modèle place plus efficacement les contenus pertinents parmi ses dix premiers résultats. Le classement fait apparaître un écart important entre la médiane de la base, fixée à 26 %, et voyageai/voyage-4-large (embed_dim=2048, evolved_prompts=True), premier à 69 %. Il suggère donc des différences marquées de qualité de récupération entre les 214 modèles évalués, sur les domaines couverts.

La lecture du classement exige toutefois de la prudence. Les scores sont majoritairement auto-déclarés par les éditeurs, plutôt que produits dans le cadre d’une mesure indépendante uniforme. La combinaison de jeux publics et de tâches fermées ou privées limite aussi l’homogénéité de l’exposition aux données et des possibilités de vérification. Elle doit être prise en compte face aux risques de contamination ou de saturation propres à l’usage répété de jeux ouverts. Enfin, la portée reste celle de la récupération en français, dans les domaines juridique et de connaissances générales retenus. Le classement renseigne sur cette aptitude ciblée, pas sur l’ensemble des capacités d’un modèle.

Sources des scores : mteb.