Mihaiii/Ivysaur

Publié par Mihaiii le 27 avril 2024 sous licence ouverte MIT, Ivysaur est un modèle d’embedding dense de 23 millions de paramètres. Fine-tuning de gte-tiny sur le jeu qa-assistant, il représente les phrases par des vecteurs de 384 dimensions obtenus avec un mean pooling tenant compte du masque d’attention.

Exclusivement anglophone, il accepte jusqu’à 512 tokens et peut être exploité avec Sentence-Transformers ou Hugging Face Transformers. Il cible notamment l’autocomplétion sémantique, la recherche, le RAG, la similarité et le clustering. Son ancienneté d’environ deux ans est très importante à l’échelle de l’IA et le rend probablement dépassé par des modèles plus récents.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Ivysaur affiche sa position relative la plus favorable sur MTEB Legal, où il se situe légèrement dans la première moitié du classement. Ses résultats sur les évaluations German et French restent intermédiaires, ce qui montre une certaine transférabilité hors de l’anglais malgré une prise en charge officiellement limitée à cette langue. Ses 23 millions de paramètres et ses vecteurs de 384 dimensions favorisent un déploiement compact, avec des index moins volumineux que ceux fondés sur de grandes dimensions. La licence MIT autorise en outre l’auto-hébergement et une intégration souple.

Limites et points d’attention. Les résultats European et BEIR placent Ivysaur dans la partie basse de leurs classements, ce qui limite son intérêt pour la recherche multilingue et le retrieval zero-shot sur des domaines hétérogènes. Long-context Retrieval est également faible, en cohérence avec une séquence tronquée à 512 tokens, peu adaptée aux documents longs sans découpage préalable. La prise en charge exclusive de l’anglais constitue un autre frein, même si plusieurs évaluations mesurent un transfert vers des langues européennes. Usages pertinents : autocomplétion sémantique anglophone, petits index de recherche, RAG sur passages courts et clustering de phrases.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).