manu/sentence_croissant_alpha_v0.4

Publié par manu le 27 avril 2024 sous licence ouverte MIT, manu/sentence_croissant_alpha_v0.4 est un modèle d’embedding dense de 1 milliard de paramètres, tous actifs. Fondé sur LlamaModel et Sentence-Transformers, il produit des vecteurs de 2 048 dimensions.

Sa longueur de séquence maximale atteint 1 024 tokens, avec un pooling pondéré incluant le prompt. Il encode phrases et paragraphes pour la recherche sémantique, l’indexation destinée au RAG, la mesure de similarité et le clustering. Près de deux ans après sa sortie, il appartient à une génération déjà ancienne à l’échelle de l’IA, probablement dépassée par des modèles plus récents.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Le meilleur résultat relatif apparaît sur MTEB: French, où le modèle se situe dans le premier tiers du classement. Ses évaluations en allemand et dans le domaine juridique le placent également dans une zone plutôt favorable, tandis que MTEB: European indique une capacité exploitable sur plusieurs langues européennes. La séquence de 1 024 tokens facilite l’encodage de passages relativement longs, et la licence MIT autorise l’intégration, la modification et l’auto-hébergement. Le pooling pondéré des tokens, prompt compris, permet d’adapter la représentation à la consigne associée au texte.

Limites et points d’attention. Les résultats sont moins convaincants en recherche médicale et en Long-context Retrieval, deux tracks où le modèle se situe dans la moitié basse des classements. La fenêtre de 1 024 tokens ne suffit donc pas à garantir une bonne récupération sur des documents à contexte long. Les vecteurs denses de 2 048 dimensions alourdissent aussi les index et augmentent le coût de stockage et de recherche par rapport à des représentations moins dimensionnées. Son ancienneté invite à le comparer systématiquement aux embeddings récents. Usages pertinents : recherche sémantique en français, clustering de phrases ou paragraphes et indexation RAG sous licence permissive.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).