cointegrated/rubert-tiny

Publié par cointegrated le 24 mai 2021 sous licence ouverte MIT, cointegrated/rubert-tiny est un modèle d’embedding dense de 12 millions de paramètres. Cette version distillée de bert-base-multilingual-cased produit des vecteurs [CLS] de 312 dimensions et cible principalement les textes russes et anglais.

Le modèle transforme les textes en représentations numériques alignées entre ces deux langues, utilisables pour la recherche sémantique, la récupération de passages dans un système RAG, la mesure de similarité et le clustering. Son entraînement combine perte MLM distillée, classement de traductions et distillation des embeddings [CLS].

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Le russe constitue son meilleur domaine parmi les évaluations MTEB disponibles, même si son classement reste éloigné des premières places. L’alignement des représentations russes et anglaises favorise les tâches bilingues de similarité et de rapprochement de contenus. Avec 12 millions de paramètres et des vecteurs de 312 dimensions, cointegrated/rubert-tiny permet de constituer des index relativement compacts et de limiter le volume de calcul lors de la recherche. Sa licence MIT autorise l’auto-hébergement et l’adaptation, notamment pour des tâches russes simples comme la reconnaissance d’entités nommées ou la classification de sentiments.

Limites et points d'attention. Les résultats MTEB en français, allemand et néerlandais se situent dans le bas des classements, ce qui limite son intérêt comme moteur d’embedding multilingue généraliste. Les évaluations MTEB Legal et RTEB Legal sont également faibles, rendant le modèle peu adapté à la recherche juridique exigeante. Sorti il y a près de cinq ans, il appartient à une génération ancienne à l’échelle de l’IA et apparaît probablement dépassé par des modèles plus récents. Usages pertinents : prototypes légers en russe ou en anglais, recherche bilingue simple, clustering et index sémantiques à faible empreinte.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).