Omartificial-Intelligence-Space/Arabic-all-nli-triplet-Matryoshka

Publié par Omartificial-Intelligence-Space sous licence ouverte Apache 2.0, Arabic-all-nli-triplet-Matryoshka est un modèle d’embedding multilingue de 278 millions de paramètres fondé sur XLM-RoBERTa. Il convertit des séquences allant jusqu’à 128 tokens en vecteurs denses de 768 dimensions par mean pooling.

Affiné à partir de paraphrase-multilingual-mpnet-base-v2 sur un jeu de triplets arabes, il mesure la proximité des textes par similarité cosinus. Ses représentations Matryoshka peuvent être réduites à 512, 256, 128 ou 64 dimensions pour la recherche sémantique, le RAG, la détection de paraphrases, la classification et le clustering.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Les résultats MTEB sont les plus favorables sur le track Korean, où le modèle se place dans le premier quart du classement, puis sur Indic. Ils indiquent une aptitude multilingue couvrant notamment la classification, le reranking, la recherche, le bitext mining et le clustering selon les tracks. L’affinage sur des triplets arabes cible également la similarité sémantique et les paraphrases en arabe. Les dimensions Matryoshka permettent de réduire les vecteurs jusqu’à 64 dimensions, ce qui peut alléger les index et accélérer la recherche au prix d’une représentation moins complète. La licence Apache 2.0 autorise l’auto-hébergement et l’intégration dans des applications commerciales.

Limites et points d’attention. Les tracks European, French et Russian placent le modèle autour du milieu de leurs classements, tandis que Dutch constitue son résultat relatif le plus faible. La limite de 128 tokens convient davantage aux phrases et passages courts qu’aux documents longs. À 768 dimensions, l’index complet demande davantage de stockage et de calcul que les variantes Matryoshka réduites. Sorti en juin 2024, il est ancien à l’échelle de l’IA et probablement dépassé par des embeddings plus récents de sa catégorie. Usages pertinents : recherche sémantique multilingue, RAG par passages courts, détection de paraphrases, classification et clustering.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).