google/flan-t5-large

Publié par Google le 21 octobre 2022, google/flan-t5-large est un modèle d’embedding multilingue de 783 millions de paramètres, tous actifs. Fondé sur T5, il a été préentraîné puis affiné avec des instructions couvrant plus de 1 000 tâches supplémentaires.

Sa représentation de type cross-encoder vise notamment la comparaison sémantique entre une requête et un texte. Le modèle peut ainsi intervenir dans la recherche sémantique, la sélection de passages pour un système RAG, la mesure de similarité et le clustering.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. google/flan-t5-large se distingue surtout en Instruction Following sur MTEB, où il figure dans le groupe de tête pour retrouver des contenus correspondant à une consigne. Cet acquis provient de son affinage sur plus de 1 000 tâches, destiné à renforcer le traitement zero-shot et few-shot. Sa prise en charge de nombreuses langues élargit son intérêt aux corpus multilingues. Son fonctionnement en cross-encoder favorise l’évaluation conjointe d’une requête et d’un passage, particulièrement utile pour classer ou réordonner des résultats de recherche.

Limites et points d’attention. Avec 783 millions de paramètres actifs, le modèle reste relativement lourd pour une étape de classement appliquée à un grand nombre de couples requête-document. Le cross-encoder impose aussi de traiter conjointement chaque paire, ce qui convient mieux au reranking d’une sélection limitée qu’à la comparaison directe de vastes collections ou au clustering à grande échelle. Sorti en 2022, il approche quatre ans, une ancienneté très importante dans l’IA, qui le place probablement derrière des modèles plus récents et parmi les références souvent retirées des catalogues actuels. Usages pertinents : recherche guidée par instruction, reranking multilingue et sélection de passages pour le RAG.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).