MAEB Audio-Only

MTEB: MAEB Audio-Only est un benchmark public conçu par l’équipe MTEB dans le cadre du projet MAEB. Il évalue la qualité des embeddings audio appliqués à la parole, à la musique et aux sons environnementaux, notamment au moyen de tâches de classification, de clustering, de comparaison de paires, de reranking et de retrieval.

Ce sous-ensemble centré sur l’audio permet de comparer la capacité des modèles à produire des représentations utiles dans plusieurs contextes. Les résultats sont agrégés selon l’approche MTEB à partir de métriques adaptées à chaque tâche.

Carte d'identité

Classement des modèles (60)

Classement établi sur 60 modèles évalués, dont 34 de grands éditeurs. Score médian de l'ensemble : 39,8 %.

Notre analyse

Un score élevé indique qu’un modèle produit des embeddings audio efficaces sur un ensemble varié de tâches, plutôt qu’une performance limitée à un seul usage. Avec une médiane de 40 % parmi les 61 modèles recensés et un meilleur score de 54 % pour BidirLM/BidirLM-Omni-2.5B-Embedding, le classement fait apparaître une avance mesurable du premier modèle, sans saturation apparente au sommet. Il met aussi en évidence une marge de progression globale.

La portée reste circonscrite aux 19 tâches audio-only de MAEB, même si celles-ci couvrent la parole, la musique, les sons environnementaux et plus de 100 langues pour le volet parole. Le benchmark est encore en bêta dans l’attente d’une évaluation par les pairs. La rigueur d’interprétation du classement doit également tenir compte du fait que les scores sont majoritairement auto-déclarés par les éditeurs, ce qui les distingue de résultats intégralement mesurés dans un cadre indépendant. Le score agrégé synthétise enfin plusieurs métriques par tâche et doit être lu comme une performance d’ensemble.

Sources des scores : mteb.