Kingsoft-LLM/QZhou-Embedding-Zh
Publié par Kingsoft-LLM le 28 septembre 2025 sous licence ouverte Apache 2.0, QZhou-Embedding-Zh est un modèle d’embedding de 8 milliards de paramètres, tous actifs. Fondé sur l’architecture et les paramètres de Qwen3-8B, il produit par défaut des vecteurs denses de 1 792 dimensions avec…
Publié par Kingsoft-LLM le 28 septembre 2025 sous licence ouverte Apache 2.0, QZhou-Embedding-Zh est un modèle d’embedding de 8 milliards de paramètres, tous actifs. Fondé sur l’architecture et les paramètres de Qwen3-8B, il produit par défaut des vecteurs denses de 1 792 dimensions avec un pooling last_token.
Spécialisé dans les textes chinois, il transforme les contenus en représentations numériques destinées à la recherche sémantique, au ranking, au RAG, à la mesure de similarité et au clustering. Son système MRL permet aussi de choisir des vecteurs de 128 à 1 792 dimensions selon les contraintes d’indexation.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Modèle d'embedding |
| Éditeur | Kingsoft-LLM |
| Poids | 🟢 Poids ouverts |
| Licence | Apache 2.0 |
| Date de sortie | 28 septembre 2025 |
| Dimension du vecteur | 1 792 |
| Représentation | dense avec MRL, dimensions de sortie 128, 256, 512, 768, 1024, 1280, 1536 ou 1792 |
| Paramètres | 8 milliards |
| Paramètres actifs | 8 milliards |
| Longueur de séquence max | 8 192 tokens |
| Modalités (entrée → sortie) | text → embedding |
Performances (benchmarks)
| Benchmark | Score | Rang | Source | Fiabilité |
|---|---|---|---|---|
| MTEB: Chinese | 78,5 % | 1ᵉ / 58 | mteb | ✅ Mesuré |
Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
MTEB: Chinese
Notre analyse
Forces. QZhou-Embedding-Zh se classe en tête du benchmark MTEB: Chinese, qui évalue notamment la recherche, le reranking et la classification de paires. Ce résultat en fait un modèle particulièrement solide pour l’analyse de proximité sémantique en chinois. Le support de MRL permet d’adapter la dimension des vecteurs, avec des formats plus compacts pour alléger les index ou une représentation complète en 1 792 dimensions. L’entraînement intègre Token Prepending lors de sa seconde étape, et l’inférence est compatible avec sentence-transformers. La licence Apache 2.0 facilite l’auto-hébergement et l’intégration dans des applications commerciales.
Limites et points d'attention. Avec 8 milliards de paramètres actifs, le modèle implique une empreinte d’inférence plus importante que des encodeurs compacts. La dimension maximale de 1 792 produit également des index plus lourds et peut accroître le coût de stockage et de recherche. MRL offre un arbitrage pratique, mais réduire la dimension compresse la représentation. Usages pertinents : moteurs de recherche en chinois, pipelines RAG, ranking, détection de similarité et regroupement thématique de corpus chinois.
Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).