infgrad/Jasper-Token-Compression-600M

Publié par infgrad le 14 novembre 2025 sous licence ouverte MIT, infgrad/Jasper-Token-Compression-600M est un modèle d’embedding dense de 607 millions de paramètres actifs. Il produit des vecteurs de 2 048 dimensions et prend en charge le chinois et l’anglais.

Issu de la série Jasper/Stella, il compresse dynamiquement les tokens après la couche d’embedding, au moyen d’un Qwen3MLP et d’un pooling adaptatif. Utilisable avec SentenceTransformer, il encode requêtes et documents pour la recherche sémantique, l’indexation d’un système RAG, la mesure de similarité et le clustering.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Le principal point fort apparaît sur MTEB Chinese, où le modèle se classe dans le top 10 pour des tâches comprenant recherche, reranking et classification de paires. Les résultats juridiques sont également solides, aussi bien sur MTEB Legal que sur RTEB Legal, ce qui indique un intérêt pour la recherche dans des corpus de décisions, de textes législatifs, de questions-réponses et de résumés juridiques. L’entraînement associe distillation vectorielle et apprentissage contrastif, avec des pertes cosine, InfoNCE et divergence KL. La licence MIT facilite l’auto-hébergement et l’intégration dans des applications commerciales.

Limites et points d'attention. Les performances sont nettement moins compétitives sur MTEB Thai, où le modèle figure près du bas du classement. Sur RTEB German, son positionnement reste intermédiaire pour la recherche dans les domaines juridique, médical et commercial. La représentation dense de 2 048 dimensions alourdit les index vectoriels et peut rendre le stockage ainsi que la recherche plus coûteux que des embeddings de dimension inférieure. La compression dynamique introduit par ailleurs des réglages de seuil de longueur et de ratio à adapter au pipeline. Usages pertinents : recherche sémantique en chinois ou en anglais, RAG juridique, similarité documentaire et clustering.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).