DeepPavlov/distilrubert-small-cased-conversational

DeepPavlov/distilrubert-small-cased-conversational est un modèle d’embedding russe sensible à la casse, publié par DeepPavlov le 28 juin 2022. Ses 107 millions de paramètres, tous actifs, produisent des représentations vectorielles denses de dimension 768. Son architecture comprend 2 couches, une dimension cachée de 768 et 12 têtes.

Le modèle transforme des textes en vecteurs destinés à la recherche sémantique, à la récupération de passages pour le RAG, à la mesure de similarité et au clustering. Son entraînement couvre notamment des sous-titres, des contenus conversationnels et des textes issus de réseaux sociaux russophones.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Le principal point fort ressort du track MTEB Russian, où le modèle obtient son meilleur résultat relatif sur des tâches de classification, de clustering, de reranking et de comparaison de paires. Son entraînement sur OpenSubtitles, Dirty, Pikabu et le segment réseaux sociaux de Taiga l’oriente vers le russe conversationnel et les contenus informels. La distillation combine des pertes KL, MLM, d’intégration cosinus et MSE appliquée aux cartes d’attention, dans une architecture limitée à 2 couches.

Limites et points d’attention. Les résultats MTEB en français, allemand et néerlandais placent le modèle près du bas des classements concernés, ce qui réduit son intérêt hors du russe. Les tracks MTEB Legal et RTEB Legal sont également faibles, notamment pour la recherche dans les décisions, lois, résumés et questions-réponses juridiques. La dimension 768 alourdit l’index vectoriel et augmente le coût de la recherche par rapport à des embeddings de dimension inférieure. Sorti il y a près de quatre ans, un âge très long à l’échelle de l’IA, ce modèle est probablement dépassé par des embeddings plus récents et peut avoir quitté les catalogues courants. Usages pertinents : recherche sémantique, clustering et récupération RAG sur des contenus russophones conversationnels ou informels.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).