izhx/udever-bloom-1b1

Publié par izhx le 24 octobre 2023, izhx/udever-bloom-1b1 est un modèle d’embedding dense de 1 milliard de paramètres, tous actifs. Fondé sur le Transformer BLOOM-1b1 à décodeur seul, il produit un vecteur à partir de l’état caché du dernier token et distingue requêtes et documents par des jetons dédiés.

Le modèle vise plusieurs langues naturelles et est distribué sous la licence BigScience. Affiné par BitFit avec une perte contrastive et des négatifs difficiles, à partir de MS MARCO Passage Ranking, SNLI et MultiNLI, il sert à la recherche sémantique, au RAG, à la mesure de similarité et au clustering.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Son meilleur résultat relatif apparaît sur MTEB Chinese, ce qui indique une aptitude plus marquée pour les embeddings de textes chinois que pour ses autres parcours évalués. BEIR montre aussi une capacité mesurable en recherche zero-shot sur des tâches et domaines hétérogènes, sans adaptation propre à chaque corpus. L’encodage séparé des requêtes et des documents correspond directement aux besoins d’un moteur de recherche sémantique ou d’un système RAG. Son entraînement contrastif avec négatifs difficiles cherche à mieux séparer les passages proches mais non pertinents.

Limites et points d'attention. Les classements MTEB restent modestes, y compris en chinois et sur BEIR. Les performances sont plus faibles en français, particulièrement sur RTEB French pour la recherche dans les domaines juridiques et de connaissances générales. Le résultat négatif en Instruction Following signale une forte faiblesse lorsque la requête impose des consignes de recherche précises. Avec environ trois ans d’ancienneté, il appartient à une génération très ancienne à l’échelle de l’IA, probablement dépassée par des embeddings plus récents et susceptible de ne plus figurer dans les catalogues actuels. Usages pertinents : expérimentation, recherche sémantique générale, RAG et clustering lorsque ses résultats sont validés sur le corpus ciblé.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).