infly/inf-retriever-v1-1.5b

Publié par infly le 8 février 2025 sous licence ouverte Apache 2.0, infly/inf-retriever-v1-1.5b est un modèle d’embedding dense de 2 milliards de paramètres, tous actifs. Basé sur gte-Qwen2-1.5B-instruct puis spécialisé pour la recherche, il transforme les textes en vecteurs de 1 536 dimensions et accepte des séquences allant jusqu’à 32 768 tokens.

Son entraînement repose exclusivement sur des données chinoises et anglaises, avec une efficacité annoncée dans d’autres langues. Les requêtes nécessitent une instruction décrivant la tâche, contrairement aux documents. Le modèle vise la recherche sémantique, l’indexation pour le RAG, la mesure de similarité et le clustering.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Les résultats MTEB placent infly/inf-retriever-v1-1.5b parmi les modèles solides en recherche sur contexte long, un avantage cohérent avec sa fenêtre de 32 768 tokens pour traiter des documents étendus. Il se distingue particulièrement dans le domaine juridique, où il figure dans le top 10 pour la recherche parmi des décisions, textes législatifs et questions-réponses. Son classement sur BEIR montre également une bonne capacité de recherche zero-shot dans des domaines et des tâches hétérogènes. La licence Apache 2.0 autorise l’auto-hébergement et l’intégration dans des systèmes propriétaires.

Limites et points d’attention. Les performances en allemand restent plus éloignées des meilleurs modèles du classement RTEB German, malgré une capacité multilingue au-delà des seules données chinoises et anglaises d’affinage. Les vecteurs de 1 536 dimensions augmentent la taille des index et le coût des calculs de similarité par rapport à des représentations moins dimensionnées. Sorti il y a environ un an, soit une ancienneté importante à l’échelle de l’IA, le modèle peut être dépassé par des embeddings plus récents de sa catégorie. Usages pertinents : recherche juridique, RAG sur documents longs, recherche sémantique généraliste et clustering multilingue, notamment en chinois et en anglais.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).