Octen/Octen-Embedding-8B

Publié par Octen le 23 décembre 2025 sous licence ouverte Apache 2.0, Octen/Octen-Embedding-8B est un modèle dense de 8 milliards de paramètres, tous actifs. Dérivé de Qwen/Qwen3-Embedding-8B et affiné avec LoRA, il produit des vecteurs de 4 096 dimensions.

Sa couverture multilingue comprend l’anglais, le chinois et plus de 100 langues. Il transforme les textes en représentations numériques destinées à la recherche sémantique, au RAG, à la similarité documentaire, au clustering, à la classification par embeddings et à la récupération cross-lingue, notamment dans les domaines juridique, financier et médical.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Octen/Octen-Embedding-8B se distingue surtout en retrieval spécialisé. Ses résultats RTEB le placent parmi les dix premiers en juridique, où il occupe la première place, ainsi qu’en finance et en santé. Il figure également dans le haut des classements pour la recherche en allemand et en français, tandis que le track Dutch confirme ses aptitudes multilingues sur plusieurs types de tâches, dont la classification et le clustering. La licence Apache 2.0 autorise l’auto-hébergement et l’intégration dans des systèmes de recherche ou de RAG. Le modèle s’utilise avec Sentence Transformers ou Transformers, avec normalisation des embeddings dans l’exemple Transformers.

Limites et points d'attention. Les résultats sont relativement moins élevés sur RTEB French et Dutch que sur les tracks juridique et financier, malgré des classements toujours situés dans le top 10. Les vecteurs denses de 4 096 dimensions alourdissent les index et rendent le stockage ainsi que la recherche vectorielle plus coûteux que des représentations de dimension inférieure. Ses 8 milliards de paramètres actifs impliquent aussi une exécution plus exigeante qu’avec un petit modèle d’embedding. Usages pertinents : retrieval juridique, financier ou médical, recherche multilingue, RAG, similarité documentaire et clustering.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).