google/flan-t5-base

Publié par Google le 21 octobre 2022, google/flan-t5-base est un modèle de 248 millions de paramètres, tous actifs. Fondé sur T5 puis affiné sur un mélange de tâches formulées comme des instructions, il utilise une représentation de type cross-encoder.

Le modèle couvre notamment l’anglais, le français, l’espagnol, l’allemand, le chinois, le japonais et l’arabe. Comme modèle d’embedding, il peut servir à la recherche sémantique, au classement de passages pour un pipeline RAG, à la mesure de similarité et à des workflows de clustering.

Caractéristiques

Performances (benchmarks)

Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Son format de 248 millions de paramètres reste relativement contenu pour intégrer un composant de comparaison sémantique. L’affinage par instructions et la couverture de nombreuses langues rendent le modèle exploitable sur des corpus multilingues et sur des requêtes formulées de différentes manières. Sa représentation cross-encoder est particulièrement adaptée à l’évaluation conjointe d’une requête et d’un passage, notamment pour reclasser des résultats de recherche ou sélectionner les extraits transmis à un système RAG.

Limites et points d'attention. Sur le track MTEB Instruction Following, google/flan-t5-base se situe loin des meilleurs modèles, avec une qualité faible malgré un classement dans le premier quart du panel évalué. Sorti en 2022, il appartient à une génération désormais très ancienne à l’échelle de l’IA et probablement dépassée par des modèles d’embedding plus récents. Son fonctionnement cross-encoder convient davantage au reclassement de paires qu’à l’indexation massive et au clustering direct. Usages pertinents : reranking multilingue, comparaison de courts ensembles de textes et sélection de passages dans un RAG à volume maîtrisé.

Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).