Salesforce/SFR-Embedding-Mistral
Publié par Salesforce le 24 janvier 2024, Salesforce/SFR-Embedding-Mistral est un modèle d’embedding dense de 7 milliards de paramètres, tous actifs. Issu d’E5-mistral-7b-instruct et de Mistral-7B-v0.1, il représente chaque texte par un vecteur unique de 4 096 dimensions.
Publié par Salesforce le 24 janvier 2024, Salesforce/SFR-Embedding-Mistral est un modèle d’embedding dense de 7 milliards de paramètres, tous actifs. Issu d’E5-mistral-7b-instruct et de Mistral-7B-v0.1, il représente chaque texte par un vecteur unique de 4 096 dimensions.
Le modèle couvre plusieurs langues et accepte jusqu’à 4 096 tokens dans l’exemple d’utilisation avec Transformers. Il sert à la recherche sémantique, au RAG, à la mesure de similarité et au clustering. Sa licence CC-BY-NC 4.0 permet un usage ouvert sous attribution, mais exclut les usages commerciaux.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Modèle d'embedding |
| Éditeur | Salesforce |
| Poids | 🟢 Poids ouverts |
| Licence | CC-BY-NC 4.0 |
| Date de sortie | 24 janvier 2024 |
| Dimension du vecteur | 4 096 |
| Représentation | dense à vecteur unique |
| Paramètres | 7 milliards |
| Paramètres actifs | 7 milliards |
| Longueur de séquence max | 32 768 tokens |
| Modalités (entrée → sortie) | text → embedding |
Performances (benchmarks)
| Benchmark | Score | Rang | Source | Fiabilité |
|---|---|---|---|---|
| MTEB: BEIR | 59,1 % | 15ᵉ / 192 | mteb | ✅ Mesuré |
| MTEB: Long-context Retrieval | 44,3 % | 51ᵉ / 170 | mteb | ✅ Mesuré |
| MTEB: Reasoning Retrieval | 18,0 % | 7ᵉ / 29 | mteb | ✅ Mesuré |
| MTEB: RTEB Legal | 47,6 % | 49ᵉ / 208 | mteb | ✅ Mesuré |
| MTEB: Medical | 64,5 % | 7ᵉ / 158 | mteb | ✅ Mesuré |
| MTEB: Legal | 55,3 % | 28ᵉ / 157 | mteb | ✅ Mesuré |
| MTEB: European | 62,6 % | 9ᵉ / 128 | mteb | ✅ Mesuré |
| MTEB: RTEB French | 54,5 % | 24ᵉ / 218 | mteb | ✅ Mesuré |
| MTEB: RTEB German | 45,1 % | 71ᵉ / 209 | mteb | ✅ Mesuré |
| MTEB: French | 67,2 % | 11ᵉ / 117 | mteb | ✅ Mesuré |
| MTEB: Dutch | 62,6 % | 12ᵉ / 113 | mteb | ✅ Mesuré |
| MTEB: Indic | 59,4 % | 30ᵉ / 119 | mteb | ✅ Mesuré |
Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
MTEB: BEIR
MTEB: Long-context Retrieval
Notre analyse
Forces. Salesforce/SFR-Embedding-Mistral se distingue surtout sur le Medical et le European de MTEB, où il figure parmi les dix premiers. Il reste également bien placé en français, en néerlandais et sur BEIR, ce qui indique de bonnes aptitudes pour la recherche d’information généraliste, médicale et multilingue. Sa fenêtre de 4 096 tokens facilite l’encodage de passages relativement longs. Les embeddings sont obtenus par pooling du dernier token, puis peuvent être normalisés en L2 et comparés par produit matriciel ou similarité cosinus. En recherche de passages, une instruction décrivant la tâche accompagne la requête, tandis que les documents sont encodés sans instruction.
Limites et points d’attention. Le track Indic est moins favorable que ses résultats européens et médicaux. Les vecteurs de 4 096 dimensions alourdissent aussi les index et rendent la recherche plus coûteuse que des représentations plus compactes. La licence CC-BY-NC 4.0 restreint l’exploitation commerciale. Sorti il y a environ deux ans, âge très élevé à l’échelle de l’IA, le modèle appartient à une génération probablement dépassée et souvent retirée des catalogues actuels. Usages pertinents : RAG non commercial, recherche sémantique multilingue, recherche médicale, similarité et clustering de documents.
Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).