Dutch

MTEB: Dutch est un benchmark communautaire créé par MTEB / embeddings-benchmark dans le cadre de MTEB-NL. Il évalue la qualité des embeddings de textes en néerlandais sur un ensemble diversifié de tâches, allant de la classification à la recherche, en passant par le clustering et la similarité sémantique.

Son rôle consiste à comparer la capacité des modèles à produire des représentations textuelles utiles dans plusieurs contextes. Cette couverture permet une appréciation transversale des performances, plutôt qu’une évaluation limitée à un seul usage des embeddings.

Carte d'identité

Classement des modèles (113)

Classement établi sur 113 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 42,8 %.

Notre analyse

Un score élevé indique qu’un modèle obtient de bons résultats moyens sur des tâches aux objectifs et métriques variés, notamment nDCG@10, l’accuracy et la corrélation de Spearman. Cette moyenne facilite la comparaison globale, mais peut masquer des écarts entre classification, reranking, recherche ou similarité sémantique. La rigueur du classement doit aussi être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans un cadre de mesure entièrement indépendant.

Avec un meilleur score de 66 % contre une médiane de 43 %, le classement fait apparaître un écart net entre le modèle de tête, codefuse-ai/F2LLM-v2-14B, et le niveau central de l’ensemble évalué. Ce résultat ne suggère pas une saturation complète du benchmark. Sa portée reste toutefois circonscrite aux embeddings de textes en néerlandais et aux familles de tâches couvertes. Son accès public implique également que la contamination constitue un risque méthodologique à considérer lors de l’interprétation des résultats, sans établir qu’elle affecte effectivement les scores publiés.

Sources des scores : mteb.