sergeyzh/rubert-tiny-turbo

Publié par sergeyzh le 21 juin 2024 sous licence ouverte MIT, sergeyzh/rubert-tiny-turbo est un modèle BERT dense de 29 millions de paramètres, fondé sur cointegrated/rubert-tiny2. Principalement destiné au russe, il accepte des séquences atteignant 2 048 tokens et produit des vecteurs de 312 dimensions.

Le modèle calcule des embeddings de phrases pour la recherche sémantique, la récupération de passages dans un système RAG, la mesure de similarité et le clustering. Il s’intègre à SentenceTransformers au moyen de la méthode encode.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Le russe constitue son meilleur terrain relatif dans MTEB, sur un ensemble couvrant notamment la classification, le clustering et le reranking. La fenêtre de 2 048 tokens permet de traiter des textes relativement longs en une séquence. Les vecteurs compacts de 312 dimensions réduisent la taille des index par rapport à des représentations plus larges, tandis que les 29 millions de paramètres facilitent un déploiement léger. La licence MIT autorise l’auto-hébergement et une réutilisation peu restrictive.

Limites et points d'attention. Les résultats MTEB sont nettement plus faibles en français, néerlandais et allemand, ce qui limite son intérêt hors du russe. Le track Long-context Retrieval reste faible malgré la longueur de séquence acceptée, et le juridique figure également parmi ses domaines les moins convaincants. Avec environ deux ans d’ancienneté, durée très longue à l’échelle de l’IA, ce modèle de 2024 est probablement dépassé par des embeddings plus récents, tandis que de nombreux modèles de sa période ont quitté les catalogues actifs. Usages pertinents : index compacts de textes russes, recherche sémantique, clustering et récupération de passages pour un RAG auto-hébergé.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).