MAEB

MTEB: MAEB est un benchmark communautaire créé par MTEB / embeddings-benchmark pour évaluer la qualité des embeddings audio. Il couvre la parole, la musique et les sons environnementaux, ainsi que les relations entre contenus audio et texte.

Son protocole réunit des tâches de recherche, classification, clustering, reranking et classification zero-shot, entre autres. Cette diversité permet de comparer la capacité des modèles à produire des représentations utiles dans plusieurs contextes audio, monomodaux ou cross-modaux, et dans plus de 100 langues.

Carte d'identité

Classement des modèles (21)

Classement établi sur 21 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 34,5 %.

Notre analyse

Un score élevé indique qu’un modèle produit des embeddings performants sur un éventail de tâches, selon des métriques adaptées comme la NDCG ou l’exactitude. La comparaison doit néanmoins rester prudente, car les résultats recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés indépendamment. Le benchmark est par ailleurs encore en bêta, dans l’attente d’une évaluation par les pairs.

Le niveau médian de 35 % et le meilleur score de 54 % suggèrent que le benchmark n’est pas saturé. Le classement fait ressortir LCO-Embedding/LCO-Embedding-Omni-7B, tout en montrant un écart substantiel entre la meilleure performance et le niveau central des modèles évalués. La portée reste celle des 30 tâches sélectionnées parmi les 98 tâches de MAEB+, malgré une couverture étendue des usages et des langues. Enfin, l’accès public impose de considérer le risque méthodologique de contamination lors de l’interprétation des scores, sans établir qu’une telle exposition a effectivement eu lieu.

Sources des scores : mteb.