Publié par cointegrated le 28 octobre 2021, cointegrated/rubert-tiny2 est un petit encodeur BERT de 29 millions de paramètres, conçu uniquement pour le russe. Il produit des embeddings denses de 312 dimensions à partir du token CLS normalisé et accepte des séquences allant jusqu’à 2 048…

Publié par cointegrated le 10 juin 2021, cointegrated/LaBSE-en-ru est un modèle d’embedding dense de 129 millions de paramètres. Cette version allégée de sentence-transformers/LaBSE, dérivée du LaBSE de Google, conserve les tokens anglais et russes. Chaque texte est représenté par un…

Publié par cointegrated le 24 mai 2021 sous licence ouverte MIT, cointegrated/rubert-tiny est un modèle d’embedding dense de 12 millions de paramètres. Cette version distillée de bert-base-multilingual-cased produit des vecteurs [CLS] de 312 dimensions et cible principalement les textes…