microsoft/speecht5_multimodal
Publié par Microsoft le 16 mai 2022, microsoft/speecht5_multimodal est un modèle d’embedding multimodal de 298 millions de paramètres, tous actifs. Il produit des représentations denses de 768 dimensions et est distribué sous licence ouverte MIT.
Publié par Microsoft le 16 mai 2022, microsoft/speecht5_multimodal est un modèle d’embedding multimodal de 298 millions de paramètres, tous actifs. Il produit des représentations denses de 768 dimensions et est distribué sous licence ouverte MIT.
Ses vecteurs servent à mesurer la proximité entre contenus, à organiser des données par clustering et à alimenter des systèmes de recherche sémantique ou de RAG. Son évaluation MAEB porte notamment sur les embeddings audio et sur les correspondances entre audio et texte.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Modèle d'embedding |
| Éditeur | Microsoft |
| Poids | 🟢 Poids ouverts |
| Licence | MIT |
| Date de sortie | 16 mai 2022 |
| Dimension du vecteur | 768 |
| Représentation | dense |
| Paramètres | 298 millions |
| Paramètres actifs | 298 millions |
| Modalités (entrée → sortie) | audio,text → embedding |
Performances (benchmarks)
| Benchmark | Score | Rang | Source | Fiabilité |
|---|---|---|---|---|
| MTEB: MAEB Audio-Only | 37,7 % | 36ᵉ / 60 | mteb | ✅ Mesuré |
| MTEB: MAEB | 26,4 % | 19ᵉ / 21 | mteb | ✅ Mesuré |
Scores issus de MTEB (Massive Text Embedding Benchmark), suite d'évaluation indépendante. Le rang situe le modèle parmi les modèles d'embedding évalués sur le même track.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
MTEB: MAEB Audio-Only
MTEB: MAEB
Notre analyse
Forces. Le modèle obtient sa meilleure tenue relative sur MAEB Audio-Only, consacré à la qualité des embeddings audio pour la classification, le clustering et la classification de paires. Il peut ainsi servir à rapprocher, classer ou regrouper des contenus audio selon leur similarité. Sa licence MIT facilite la réutilisation, la modification et le déploiement dans des applications, tandis que ses vecteurs denses de 768 dimensions fournissent un format directement exploitable par un index vectoriel.
Limites et points d’attention. Les résultats restent modestes sur MAEB Audio-Only, avec un classement dans la seconde moitié des modèles évalués. La faiblesse est plus nette sur MAEB, qui combine tâches audio seules et correspondances croisées entre audio et texte, où microsoft/speecht5_multimodal se place près du bas du classement. Sorti en 2022, il approche quatre ans, une ancienneté très longue à l’échelle de l’IA, et peut être dépassé par des modèles plus récents de sa catégorie. Usages pertinents : prototypes sous licence MIT, clustering audio, recherche par similarité et RAG multimodal lorsque ses performances mesurées restent suffisantes.
Sources des données : MTEB — Massive Text Embedding Benchmark · LLM-Stats (llm-stats.com).