bflhc/MoD-Embedding

Publié par bflhc le 14 décembre 2025, bflhc/MoD-Embedding est un modèle dense de 4 milliards de paramètres, tous actifs. Affiné depuis Qwen/Qwen3-Embedding-4B avec LoRA, il produit des vecteurs de 2 560 dimensions et accepte des séquences atteignant 32 768 tokens.

Le modèle prend en charge l’anglais, le chinois et des usages multilingues. Sa licence ouverte Apache 2.0 autorise l’auto-hébergement. Il sert à indexer des textes pour la recherche sémantique, le RAG, la mesure de similarité et le clustering, notamment avec Sentence Transformers ou Transformers.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Les résultats RTEB placent particulièrement le modèle sur la recherche juridique, où il figure dans le top 10. Il se montre également bien classé en retrieval financier et en allemand, y compris sur des contenus juridiques, médicaux et professionnels. Son contexte maximal de 32 768 tokens facilite l’encodage de documents longs, tandis que sa prise en charge multilingue convient aux corpus mêlant anglais, chinois et autres langues. La licence Apache 2.0 constitue un atout pour le déploiement et l’auto-hébergement.

Limites et points d'attention. Le track RTEB French affiche le résultat le plus faible parmi les évaluations fournies, avec un classement moins favorable que sur le juridique ou l’allemand. Le track Healthcare reste lui aussi en retrait par rapport aux meilleurs résultats du modèle. Les vecteurs denses de 2 560 dimensions augmentent la taille des index et le coût des calculs de similarité par rapport à des représentations moins dimensionnées. Avec 4 milliards de paramètres actifs, le modèle implique aussi une empreinte d’inférence conséquente. Usages pertinents : recherche documentaire multilingue, RAG sur documents longs, retrieval juridique ou financier, similarité et clustering.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).