Octen/Octen-Embedding-0.6B

Publié par Octen le 10 janvier 2026 sous licence ouverte Apache 2.0, Octen/Octen-Embedding-0.6B est un modèle dense de 596 millions de paramètres, affiné par LoRA à partir de Qwen3-Embedding-0.6B. Il produit des vecteurs de 1 024 dimensions et accepte jusqu’à 32 768 tokens.

Le modèle couvre plus de 100 langues, notamment l’anglais et le chinois. Il transforme les textes en représentations numériques destinées à la recherche sémantique, au RAG, à la similarité, au clustering, à la recherche interlingue et à la classification par embeddings. Son intégration repose sur Sentence Transformers ou Transformers, avec normalisation L2 des vecteurs dans ce dernier cas.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Les résultats MTEB placent surtout Octen/Octen-Embedding-0.6B parmi les modèles les mieux classés de RTEB Legal, ce qui souligne son intérêt pour la recherche dans des décisions, des textes législatifs et des synthèses juridiques. Le modèle obtient aussi des positions solides sur RTEB German et RTEB Finance, avec une aptitude à la recherche multilingue et spécialisée. Sa fenêtre de 32 768 tokens facilite le traitement de documents longs, tandis que la licence Apache 2.0 autorise l’auto-hébergement et l’intégration dans des systèmes propriétaires. Ses 596 millions de paramètres restent adaptés à des déploiements plus contenus que ceux de modèles d’embedding beaucoup plus volumineux.

Limites et points d'attention. Le classement Thai se situe dans le bas du panel évalué, tandis que RTEB Healthcare reste plus proche du milieu de tableau. RTEB French affiche un positionnement moins fort que les tracks juridique et allemand. Les vecteurs de 1 024 dimensions imposent par ailleurs un stockage et un calcul de similarité plus importants que des représentations de dimension inférieure, particulièrement à grande échelle. Usages pertinents : recherche juridique, financière ou multilingue, RAG sur documents longs, rapprochement de documents et clustering.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).