Kingsoft-LLM/QZhou-Embedding
Kingsoft-LLM/QZhou-Embedding est un modèle d’embedding dense publié par Kingsoft-LLM le 24 août 2025 sous licence ouverte Apache 2.0. Fondé sur Qwen2.5-7B-Instruct, il compte 7 milliards de paramètres actifs et produit des vecteurs de 3 584 dimensions.
Kingsoft-LLM/QZhou-Embedding est un modèle d’embedding dense publié par Kingsoft-LLM le 24 août 2025 sous licence ouverte Apache 2.0. Fondé sur Qwen2.5-7B-Instruct, il compte 7 milliards de paramètres actifs et produit des vecteurs de 3 584 dimensions.
Son attention bidirectionnelle et son contexte maximal de 8 000 tokens visent la représentation contextuelle de textes relativement longs. Le modèle sert notamment à la recherche sémantique, à la sélection de passages pour le RAG, à la mesure de similarité et au clustering. Il accepte aussi des requêtes enrichies d’instructions.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Modèle d'embedding |
| Éditeur | Kingsoft-LLM |
| Poids | 🟢 Poids ouverts |
| Licence | Apache 2.0 |
| Date de sortie | 24 août 2025 |
| Dimension du vecteur | 3 584 |
| Représentation | dense |
| Paramètres | 7 milliards |
| Paramètres actifs | 7 milliards |
| Longueur de séquence max | 8 192 tokens |
| Modalités (entrée → sortie) | text → embedding |
Performances (benchmarks)
| Benchmark | Score | Rang | Source | Fiabilité |
|---|---|---|---|---|
| MTEB: Chinese | 77,0 % | 3ᵉ / 58 | mteb | ✅ Mesuré |
Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
MTEB: Chinese
Notre analyse
Forces. QZhou-Embedding se classe parmi les meilleurs modèles évalués par MTEB: Chinese, ce qui souligne sa qualité sur les textes chinois dans des tâches couvrant la recherche, le reranking et la classification de paires. Son contexte de 8 000 tokens facilite l’encodage de passages étendus. Le pooling moyen peut être associé à une normalisation des vecteurs, tandis que les instructions ajoutées aux requêtes permettent d’orienter la recherche de passages pertinents. La licence Apache 2.0 autorise l’auto-hébergement et l’intégration dans des applications commerciales. La compatibilité avec Sentence Transformers, Hugging Face Transformers et vLLM facilite son déploiement dans des chaînes de recherche et de RAG.
Limites et points d’attention. Les 7 milliards de paramètres impliquent des besoins de calcul et de mémoire conséquents lors de l’inférence. La dimension de sortie de 3 584 alourdit également les index vectoriels et peut rendre la recherche plus coûteuse à grande échelle. Cette version ne prend pas en charge MRL, ce qui empêche de réduire directement la dimension des embeddings selon les contraintes de stockage ou de latence. Usages pertinents : recherche sémantique en chinois, sélection de passages pour le RAG, similarité textuelle et clustering de corpus.
Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).