jinaai/jina-embeddings-v2-base-en
Publié par Jina AI le 27 septembre 2023, jinaai/jina-embeddings-v2-base-en est un modèle d’embedding anglophone de 137 millions de paramètres. Fondé sur l’architecture JinaBERT avec une variante bidirectionnelle symétrique d’ALiBi, il accepte jusqu’à 8 192 tokens et produit des vecteurs…
Publié par Jina AI le 27 septembre 2023, jinaai/jina-embeddings-v2-base-en est un modèle d’embedding anglophone de 137 millions de paramètres. Fondé sur l’architecture JinaBERT avec une variante bidirectionnelle symétrique d’ALiBi, il accepte jusqu’à 8 192 tokens et produit des vecteurs denses de 768 dimensions.
Distribué sous licence ouverte Apache 2.0, il peut être auto-hébergé. Ses embeddings de phrases ou de paragraphes servent à la recherche sémantique, au RAG, à la mesure de similarité, au clustering, au reranking et à la recommandation, notamment sur des documents longs.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Modèle d'embedding |
| Éditeur | Jina AI |
| Poids | 🟢 Poids ouverts |
| Licence | Apache 2.0 |
| Date de sortie | 27 septembre 2023 |
| Dimension du vecteur | 768 |
| Représentation | dense |
| Paramètres | 137 millions |
| Paramètres actifs | 137 millions |
| Longueur de séquence max | 8 192 tokens |
| Modalités (entrée → sortie) | text → embedding |
Performances (benchmarks)
| Benchmark | Score | Rang | Source | Fiabilité |
|---|---|---|---|---|
| MTEB: BEIR | 45,3 % | 125ᵉ / 192 | mteb | ✅ Mesuré |
| MTEB: Long-context Retrieval | 1,8 % | 170ᵉ / 170 | mteb | ✅ Mesuré |
| MTEB: RTEB Legal | 4,5 % | 207ᵉ / 208 | mteb | ✅ Mesuré |
| MTEB: RTEB Healthcare | 27,3 % | 79ᵉ / 97 | mteb | ✅ Mesuré |
| MTEB: RTEB Finance | 52,4 % | 66ᵉ / 97 | mteb | ✅ Mesuré |
| MTEB: Medical | 21,1 % | 139ᵉ / 158 | mteb | ✅ Mesuré |
| MTEB: Legal | 3,2 % | 157ᵉ / 157 | mteb | ✅ Mesuré |
| MTEB: European | 27,2 % | 127ᵉ / 128 | mteb | ✅ Mesuré |
| MTEB: RTEB French | 0,1 % | 217ᵉ / 218 | mteb | ✅ Mesuré |
| MTEB: RTEB German | 2,6 % | 207ᵉ / 209 | mteb | ✅ Mesuré |
| MTEB: Indic | 28,9 % | 118ᵉ / 119 | mteb | ✅ Mesuré |
Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
MTEB: BEIR
MTEB: Long-context Retrieval
Notre analyse
Forces. Ses résultats MTEB les plus favorables concernent RTEB Finance et BEIR, ce qui en fait surtout un modèle de recherche d’information en anglais, avec un intérêt relatif pour les contenus financiers et la recherche zero-shot sur des domaines hétérogènes. La fenêtre de 8 192 tokens facilite l’indexation de longs paragraphes ou documents. Les vecteurs de 768 dimensions offrent un format relativement contenu pour le stockage et l’interrogation d’un index. La licence Apache 2.0 autorise par ailleurs l’auto-hébergement et l’intégration dans des applications commerciales.
Limites et points d'attention. Les classements MTEB sont faibles sur Indic et European, presque en queue de classement, ce qui concorde avec son positionnement monolingue anglais. Les résultats sont également modestes sur Medical et RTEB Healthcare, tandis que BEIR et RTEB Finance ne le placent pas parmi les références de tête. Sorti en 2023, il appartient à une génération désormais ancienne à l’échelle de l’IA et probablement dépassée par des modèles plus récents. Usages pertinents : recherche sémantique, RAG, similarité et clustering de contenus anglais, en particulier lorsque les longues séquences et l’auto-hébergement sont prioritaires.
Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).