tencent/KaLM-Embedding-Gemma3-12B-2511

Publié par Tencent le 6 novembre 2025, tencent/KaLM-Embedding-Gemma3-12B-2511 est un modèle d’embedding dense de 12 milliards de paramètres. Il produit par défaut des vecteurs de 3 840 dimensions et accepte des entrées allant jusqu’à 32 000 tokens, avec un pooling sur le dernier token.

Le modèle transforme les textes en représentations numériques destinées à la recherche sémantique, à la sélection de passages pour le RAG, à la mesure de similarité et au clustering. Ses dimensions MRL permettent aussi de produire des vecteurs de 2 048 à 64 dimensions. L’intégration est prévue avec sentence-transformers et vLLM, notamment au moyen de prompts distincts pour les requêtes et les documents.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Les résultats MTEB placent le modèle dans le top 10 pour les tâches portant sur les textes thaïs, qui couvrent notamment la classification, le clustering et la comparaison de paires. Il figure également dans le top 10 du track Instruction Following, consacré à la recherche de contenus pertinents à partir d’instructions. La fenêtre de 32 000 tokens facilite l’encodage de documents longs ou de passages étendus. Les dimensions MRL offrent un levier pratique pour réduire la taille des vecteurs, donc alléger les index et accélérer leur interrogation lorsque la dimension maximale n’est pas nécessaire.

Limites et points d’attention. Le vecteur natif de 3 840 dimensions implique des index plus volumineux, davantage de mémoire et des calculs de similarité plus coûteux. Le score absolu obtenu sur Instruction Following reste faible malgré un classement dans le top 10, ce qui invite à valider la qualité de récupération sur les corpus et consignes visés. La réduction MRL atténue les coûts d’indexation, mais constitue un arbitrage à évaluer selon l’application. Usages pertinents : recherche sémantique en thaï, retrieval guidé par instruction, RAG sur documents longs, similarité et clustering.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).