MTEB: Portuguese est un benchmark créé par les contributeurs de MTEB, dont N. Muennighoff et al. Il évalue la qualité générale des représentations vectorielles de textes en portugais à travers la similarité sémantique, la classification, le reclassement de résultats et la recherche…

MTEB: Korean est une déclinaison du Massive Text Embedding Benchmark consacrée aux représentations vectorielles de textes coréens. Créée par les contributeurs de MTEB, cette suite étendue succède à MTEB(kor, v1) et couvre un éventail élargi de tâches fondées sur des textes, des paires de…

MTEB: RTEB English est un benchmark public consacré à la recherche d’information en anglais. Créé en 2025 par Hugging Face, MongoDB et la communauté MTEB, il constitue le sous-ensemble anglophone de RTEB.

MTEB: RTEB Code est un benchmark public consacré à la qualité de la recherche d’information dans le domaine du code. Créé par Hugging Face, MongoDB et la communauté MTEB, il constitue un sous-ensemble spécialisé de RTEB.

MTEB: Polish est un benchmark consacré à l’évaluation des plongements de texte en polonais. Créé par la communauté MTEB/MMTEB à partir de PL-MTEB, développé par Rafal Poswiata et ses coauteurs à l’OPI-PIB, il associe des jeux communautaires adaptés au corpus de littérature scientifique…

MTEB: Vietnamese est un benchmark consacré à la qualité des plongements de texte en vietnamien. Créé en 2025 par les auteurs de VN-MTEB, notamment Pham, Luu et leurs coauteurs, il s’appuie sur des données de MTEB traduites automatiquement, puis filtrées afin de préserver les entités…

MTEB: Thai est un benchmark communautaire créé par MTEB / MMTEB pour évaluer la qualité des embeddings de textes en thaï. Il couvre plusieurs usages complémentaires, notamment la classification, le clustering, la classification de paires, le reranking et la recherche d’information.

MTEB: German est un benchmark communautaire créé par MTEB / MMTEB pour évaluer la qualité des plongements de texte en allemand. Il couvre plusieurs usages complémentaires, notamment la classification, le clustering, la classification de paires, le reranking, la recherche et la similarité…

MTEB: Korean est un benchmark communautaire créé par MTEB / MMTEB pour évaluer la qualité des plongements de texte en coréen. Il couvre plusieurs usages complémentaires : classification, reranking, recherche d’information et similarité sémantique.

MTEB: French est un benchmark consacré à la qualité des plongements de texte en français. Publié en 2024 par Lyon-NLP, avec Ciancone, Kerboua, Schaeffer et Sequeira, ainsi que par la communauté MTEB, il repose sur des jeux de données natifs français de haute qualité.

MTEB: Chinese est un benchmark communautaire de MTEB / embeddings-benchmark, constitué à partir du sous-ensemble chinois C-MTEB de BAAI/FlagEmbedding. Il évalue la qualité des embeddings de textes en chinois dans plusieurs familles de tâches.

MTEB: Russian est un benchmark public consacré à la qualité des embeddings textuels en russe. Créé par MTEB / MMTEB à partir de ruMTEB, il regroupe des jeux de données couvrant plusieurs usages, de la classification à la recherche d’information, en passant par le clustering et la…

MTEB: Farsi est un benchmark public consacré à la qualité des embeddings de textes en persan. Créé par FaMTEB, notamment Erfan Zinvandi, Morteza Alikhani et Mehran Sarmadi, il couvre plusieurs usages, de la classification à la recherche d’information, en passant par le clustering et la…

MTEB: Scandinavian est un benchmark public consacré à la qualité des embeddings de texte dans les principales langues scandinaves continentales. Publié en 2024, il a été créé par le Scandinavian Embedding Benchmark, sous la direction de Kenneth Enevoldsen et al., puis intégré à MTEB.

MTEB: Indic est un benchmark public consacré à la qualité des embeddings de texte dans les langues indiennes. Publié en 2025 par MTEB / MMTEB, dans le cadre d’embeddings-benchmark et des travaux de Kenneth Enevoldsen et al., il couvre plusieurs formes d’évaluation multilingue.

MTEB: European est un benchmark public consacré à la qualité des embeddings de texte dans les langues européennes. Créé par MTEB / MMTEB, dans le cadre d’embeddings-benchmark et des travaux de Kenneth Enevoldsen et al., il couvre plusieurs usages, de la recherche d’information à la…

MTEB: MAEB est un benchmark communautaire créé par MTEB / embeddings-benchmark pour évaluer la qualité des embeddings audio. Il couvre la parole, la musique et les sons environnementaux, ainsi que les relations entre contenus audio et texte.

MTEB: Spanish est un benchmark communautaire créé par MTEB / embeddings-benchmark, avec des jeux de données espagnols notamment issus de jina-ai/mteb-es. Il évalue la qualité des embeddings de texte en espagnol dans plusieurs familles de tâches.

MTEB: Chemical est un benchmark public créé en 2024 par BASF dans le cadre de ChemTEB. Il évalue la qualité des embeddings de texte spécialisés en chimie, notamment leur aptitude à représenter la littérature et les données de ce domaine.

MTEB: Code est un benchmark public créé en 2024 par la communauté MTEB / embeddings-benchmark. Il évalue la qualité de récupération de code dans un large éventail de langages de programmation, à partir de requêtes formulées en anglais.

MTEB: Dutch est un benchmark communautaire créé par MTEB / embeddings-benchmark dans le cadre de MTEB-NL. Il évalue la qualité des embeddings de textes en néerlandais sur un ensemble diversifié de tâches, allant de la classification à la recherche, en passant par le clustering et la…

MTEB: MVEB est un benchmark public du projet MTEB / embeddings-benchmark, créé par El Assadi, Solomatin, Muennighoff, Enevoldsen et leurs collaborateurs. Il évalue la qualité des embeddings vidéo audio-visuels, c’est-à-dire la représentation conjointe des informations visuelles et…

MTEB: Legal est un benchmark public créé par MTEB / MMTEB (embeddings-benchmark) pour évaluer la recherche de documents juridiques dans plusieurs langues. Il couvre notamment la jurisprudence, les statuts, les questions-réponses juridiques et le résumé juridique.

MTEB: Medical est un benchmark public créé en 2025 par MTEB / MMTEB (embeddings-benchmark). Il évalue la recherche d’information médicale dans des contenus cliniques, biomédicaux et destinés au grand public.

MTEB: Long-context Retrieval est un benchmark consacré à la recherche d’information dans des documents longs. Créé par les auteurs de LongEmbed, Dawei Zhu et al., puis intégré à MTEB, il associe des tâches synthétiques et réelles afin d’examiner des contextes de longueur variable où…

MTEB: MVEB Video-Text est le sous-ensemble texte-vidéo de MVEB, créé par MTEB (embeddings-benchmark), El Assadi, Solomatin, Muennighoff, Enevoldsen et leurs coauteurs. Il évalue la qualité des représentations conjointes du texte et de la vidéo produites par des modèles dépourvus…

MTEB: RTEB Healthcare est un benchmark créé par Hugging Face dans le cadre du projet RTEB / embedding-benchmark. Ce sous-ensemble spécialisé évalue la qualité de récupération d’embeddings dans les domaines de la santé et de la médecine, à partir de tâches représentatives d’usages réels…

MTEB: RTEB Finance est un benchmark créé par Hugging Face et le projet MTEB (embeddings-benchmark). Ce sous-ensemble spécialisé de RTEB évalue la qualité de récupération de documents dans le domaine financier, notamment pour les questions-réponses, les documents financiers et la…

MTEB: RTEB Legal est un benchmark communautaire publié par l’équipe MTEB et Hugging Face, avec notamment K. Enevoldsen. Sous-ensemble juridique de RTEB, il évalue la qualité de récupération d’information dans des contenus spécialisés.

MTEB: RTEB German est un benchmark communautaire publié par l’équipe MTEB et Hugging Face, avec notamment K. Enevoldsen. Il constitue le sous-ensemble germanophone de RTEB et évalue la qualité de récupération d’information dans des contextes juridiques, médicaux et professionnels.

MTEB: RTEB French est un benchmark communautaire créé par l’équipe MTEB et Hugging Face, avec notamment K. Enevoldsen. Il constitue le sous-ensemble francophone de RTEB et évalue des systèmes de récupération d’information dans des contextes juridiques et de connaissances générales.

MTEB: Image-Text, Multilingual est un benchmark public consacré à la qualité des embeddings d’images et image-texte dans un contexte multilingue. Publié par MTEB / embeddings-benchmark et l’équipe MIEB de Chenghao Xiao, Isaac Chung et al., il étend l’évaluation anglophone MIEB à des jeux…

MTEB: Image-Text, English est un benchmark consacré à la qualité des embeddings d’images et d’ensembles image-texte en anglais. Il a été créé par MTEB / embeddings-benchmark, dans le cadre des travaux de l’équipe MIEB menée par Chenghao Xiao, Isaac Chung et leurs collaborateurs.

MTEB: Image-Text, Lite est un benchmark multilingue consacré à la qualité des embeddings d’images et de paires image-texte. Créé par MTEB / embeddings-benchmark avec l’équipe MIEB de Chenghao Xiao, Isaac Chung et leurs coauteurs, il reprend les types de tâches de MIEB(Multilingual) dans…

MTEB: MVEB Video-Only est un benchmark créé par MTEB (embeddings-benchmark), avec El Assadi, Solomatin, Muennighoff, Enevoldsen et leurs coauteurs. Il évalue la qualité des embeddings vidéo produits par des encodeurs dépourvus de composant textuel.

MTEB: Image only est un benchmark consacré à la qualité des embeddings purement visuels. Publié en 2025 par MTEB / embeddings-benchmark et l’équipe MIEB de Chenghao Xiao, Isaac Chung et leurs coauteurs, il repose sur un sous-ensemble de tâches MIEB ne nécessitant aucun encodeur de texte.

MTEB: MAEB Audio-Only est un benchmark public conçu par l’équipe MTEB dans le cadre du projet MAEB. Il évalue la qualité des embeddings audio appliqués à la parole, à la musique et aux sons environnementaux, notamment au moyen de tâches de classification, de clustering, de comparaison de…