German

MTEB: German est un benchmark communautaire créé par MTEB / MMTEB pour évaluer la qualité des plongements de texte en allemand. Il couvre plusieurs usages complémentaires, notamment la classification, le clustering, la classification de paires, le reranking, la recherche et la similarité sémantique.

Cette diversité permet d’apprécier la capacité d’un modèle à produire des représentations utiles dans différents contextes, plutôt que sur une tâche unique. Le score moyen MTEB sert ainsi de synthèse, tandis que les métriques propres à chaque tâche apportent une lecture plus ciblée des performances.

Carte d'identité

Classement des modèles (96)

Classement établi sur 96 modèles évalués. Score médian de l'ensemble : 40,7 %.

Notre analyse

Un score élevé indique qu’un modèle obtient de bons résultats agrégés sur plusieurs familles de tâches en allemand. Son interprétation doit toutefois tenir compte de métriques différentes selon les épreuves, parmi lesquelles nDCG@10, accuracy, AP et corrélation de Spearman. Le score moyen facilite le classement global, mais résume donc des capacités distinctes. La fiabilité appelle aussi à la prudence, car les résultats sont majoritairement auto-déclarés par les éditeurs plutôt que tous mesurés dans un protocole indépendant.

Parmi les 96 modèles évalués dans la base, l’écart entre le score médian de 41 % et les 67 % de codefuse-ai/F2LLM-v2-14B montre une différenciation nette des performances. Le classement ne paraît donc pas uniformément saturé au niveau atteint par son meilleur modèle. Sa portée reste circonscrite à la qualité des embeddings de texte en allemand et aux tâches couvertes. Il ne constitue pas une mesure générale de toutes les capacités d’un modèle. Les résultats auto-déclarés imposent enfin une lecture prudente des comparaisons, notamment lorsque de faibles écarts séparent plusieurs modèles.

Sources des scores : mteb.