Publié par izhx le 24 octobre 2023, izhx/udever-bloom-1b1 est un modèle d’embedding dense de 1 milliard de paramètres, tous actifs. Fondé sur le Transformer BLOOM-1b1 à décodeur seul, il produit un vecteur à partir de l’état caché du dernier token et distingue requêtes et documents par…

Publié par izhx le 24 octobre 2023, izhx/udever-bloom-3b est un modèle d’embedding dense de 3 milliards de paramètres, tous actifs. Fondé sur l’architecture Transformer BLOOM-3B à décodeur seul, il produit un vecteur numérique par texte et est diffusé sous licence BigScience.

Publié par izhx le 24 octobre 2023, izhx/udever-bloom-560m est un modèle d’embedding dense de 559 millions de paramètres, fondé sur le Transformer decoder-only BLOOM-560m et diffusé sous licence BigScience. Son entraînement combine MS MARCO Passage Ranking, SNLI et MultiNLI.

Publié par izhx le 24 octobre 2023, izhx/udever-bloom-7b1 est un modèle d’embedding fondé sur l’architecture Transformer BLOOM-7b1, de type décodeur uniquement. Son orientation est multilingue et sa diffusion relève de la licence BigScience.