zeroentropy/zembed-1
zeroentropy/zembed-1 est un modèle d’embedding multilingue à poids ouverts publié par zeroentropy le 2 mars 2026 sous licence CC-BY-NC 4.0. Fondé sur Qwen/Qwen3-4B, il compte 4 milliards de paramètres actifs et produit par défaut des vecteurs denses de 2 560 dimensions.
zeroentropy/zembed-1 est un modèle d’embedding multilingue à poids ouverts publié par zeroentropy le 2 mars 2026 sous licence CC-BY-NC 4.0. Fondé sur Qwen/Qwen3-4B, il compte 4 milliards de paramètres actifs et produit par défaut des vecteurs denses de 2 560 dimensions.
Distillé depuis le reranker zerank-2 avec la méthode zELO, il traite jusqu’à 32 768 tokens. Ses encodages distincts pour les requêtes et les documents servent à construire des systèmes de recherche sémantique, de RAG, de mesure de similarité et de clustering multilingue.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Modèle d'embedding |
| Éditeur | zeroentropy |
| Poids | 🟢 Poids ouverts |
| Licence | CC-BY-NC 4.0 |
| Date de sortie | 2 mars 2026 |
| Dimension du vecteur | 2 560 |
| Représentation | dense |
| Paramètres | 4 milliards |
| Paramètres actifs | 4 milliards |
| Longueur de séquence max | 32 768 tokens |
| Modalités (entrée → sortie) | text → embedding |
Performances (benchmarks)
| Benchmark | Score | Rang | Source | Fiabilité |
|---|---|---|---|---|
| MTEB: Instruction Following | 4,7 % | 16ᵉ / 196 | mteb | ✅ Mesuré |
Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
MTEB: Instruction Following
Notre analyse
Forces. zeroentropy/zembed-1 se situe parmi les modèles les mieux classés du track MTEB Instruction Following, consacré à la capacité de retrouver des contenus en respectant une consigne de recherche. Les prompts propres aux tâches sont appliqués automatiquement aux requêtes et aux documents. Le contexte de 32 768 tokens facilite l’encodage de documents longs. Le modèle couvre notamment la finance, la santé, le droit, les conversations, l’industrie, la recherche web, le code, les STEM et les mathématiques. Les projections proposées, de 2 560 à 40 dimensions, ainsi que la quantification jusqu’au binaire, permettent d’adapter la taille des index et les besoins de calcul.
Limites et points d'attention. La représentation native de 2 560 dimensions produit des index plus lourds et peut rendre la recherche plus coûteuse que des embeddings de dimension inférieure. Les projections et la quantification réduisent cette charge, avec un arbitrage à évaluer selon la qualité recherchée. Les 4 milliards de paramètres pèsent aussi sur les ressources nécessaires à l’auto-hébergement. Enfin, la licence CC-BY-NC 4.0 restreint les usages commerciaux. Usages pertinents : recherche sémantique multilingue, RAG sur documents longs, similarité et clustering dans des contextes non commerciaux.
Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).