izhx/udever-bloom-560m

Publié par izhx le 24 octobre 2023, izhx/udever-bloom-560m est un modèle d’embedding dense de 559 millions de paramètres, fondé sur le Transformer decoder-only BLOOM-560m et diffusé sous licence BigScience. Son entraînement combine MS MARCO Passage Ranking, SNLI et MultiNLI.

Le modèle transforme des requêtes et des documents en vecteurs distincts grâce à des jetons dédiés, puis utilise le dernier état caché du dernier jeton comme représentation. Présenté comme multilingue, il vise la recherche sémantique, la récupération de passages pour le RAG, la mesure de similarité et le clustering.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Le meilleur résultat relatif apparaît sur MTEB Chinese, ce qui indique une capacité exploitable pour l’embedding de textes chinois, même si le classement reste modeste. BEIR constitue son autre évaluation la moins défavorable et montre une aptitude générale à la recherche zero-shot sur des tâches et domaines hétérogènes. L’affinage BitFit avec perte contrastive et négatifs difficiles correspond directement à l’apprentissage de représentations destinées au retrieval. La séparation explicite entre requêtes et documents est également adaptée aux moteurs de recherche sémantique.

Limites et points d'attention. Les résultats français sont faibles sur MTEB French et particulièrement bas sur RTEB French, notamment pour la recherche dans les domaines juridique et de connaissances générales. Le track Instruction Following est aussi défavorable, ce qui limite la récupération guidée par des consignes complexes. Avec environ trois ans d’ancienneté, très longs à l’échelle de l’IA, le modèle appartient à une génération probablement dépassée par des embeddings plus récents et souvent retirée des catalogues actifs. Usages pertinents : expérimentation, comparaison historique et recherche sémantique chinoise ou généraliste lorsque ses performances ont été validées sur le corpus cible.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).