OrdalieTech/Solon-embeddings-large-0.1

OrdalieTech/Solon-embeddings-large-0.1 est un modèle d’embedding dense publié par OrdalieTech le 9 décembre 2023 sous licence ouverte MIT. Ses 560 millions de paramètres, tous actifs, produisent des vecteurs de 1 024 dimensions. Conçu comme un modèle français, il affiche aussi des résultats MTEB dans plusieurs ensembles linguistiques européens et asiatiques.

Il transforme les textes en représentations numériques destinées à la recherche sémantique, à la sélection de passages pour le RAG, à la mesure de similarité et au clustering. Pour la recherche, les requêtes doivent être précédées de « query : », tandis que les passages ne nécessitent aucune instruction.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Le principal point fort de Solon-embeddings-large-0.1 réside dans son comportement multilingue. Il figure dans le top 10 du track MTEB Indic et obtient également un classement élevé en coréen, sur des tâches comprenant classification, reranking, retrieval et bitext mining. Les résultats européens, français et néerlandais montrent une aptitude plus générale à rapprocher, classer et regrouper des textes dans plusieurs langues. Les évaluations françaises couvrent notamment la similarité textuelle, la classification, le reranking et STS. La licence MIT facilite l’auto-hébergement et l’intégration dans des applications commerciales ou ouvertes.

Limites et points d’attention. Les résultats MTEB sont moins bien classés en russe, en français et dans l’ensemble European que sur les tracks Indic et Korean, ce qui suggère une qualité variable selon la langue et la tâche. Les vecteurs de 1 024 dimensions augmentent les besoins de stockage des index et le coût des recherches par rapport à des représentations moins dimensionnées. Avec environ trois ans d’ancienneté, durée très longue à l’échelle de l’IA, ce modèle appartient à une génération probablement dépassée par des embeddings plus récents et susceptible de ne plus occuper une place centrale dans le catalogue de son éditeur. Usages pertinents : recherche sémantique multilingue, RAG en français, similarité et clustering de corpus.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).