minishlab

Model2Vec et la famille Potion : des embeddings statiques ultra-légers et rapides

9 fiches modèlesorties 21 septembre 2024 → 8 juillet 20269 à poids ouverts

The Minish Lab est un projet open source à l'origine de Model2Vec, une bibliothèque qui transforme un modèle Sentence Transformer en un modèle d'embeddings statiques compact. L'idée maîtresse consiste à distiller un encodeur neuronal en calculant un vecteur fixe par token, avec un post-traitement léger, afin de conserver l'essentiel de la qualité sémantique tout en supprimant le coût d'inférence d'un réseau complet. Le code et les modèles sont publiés librement sur Hugging Face et PyPI.

Au catalogue figure la famille Potion, dont potion-multilingual-128M, déclinaison multilingue de cette approche. Ces modèles se distinguent par leur taille réduite (quelques dizaines de mégaoctets) et par une vitesse d'encodage supérieure de plusieurs ordres de grandeur, sur GPU comme sur CPU, à celle des encodeurs classiques. La philosophie est résolument poids ouverts et frugalité.

Ces embeddings visent les usages où les ressources sont limitées ou la latence critique : recherche sémantique embarquée, indexation à grande échelle, traitements temps réel sur machines modestes.

Modèles

Modèles Embedding