Thai

MTEB: Thai est un benchmark communautaire créé par MTEB / MMTEB pour évaluer la qualité des embeddings de textes en thaï. Il couvre plusieurs usages complémentaires, notamment la classification, le clustering, la classification de paires, le reranking et la recherche d’information.

Les tâches reposent sur des contenus rédigés nativement en thaï ou sur des traductions humaines de haute qualité. En excluant les tâches traduites automatiquement et les évaluations cross-lingual, ce benchmark vise une comparaison ciblée des modèles capables de représenter efficacement les textes thaïlandais.

Carte d'identité

Classement des modèles (28)

Classement établi sur 28 modèles évalués. Score médian de l'ensemble : 63,0 %.

Notre analyse

Un score élevé sur MTEB: Thai indique qu’un modèle produit des représentations textuelles efficaces dans plusieurs familles de tâches, plutôt que dans un seul scénario. Le score moyen agrège toutefois des métriques variables selon les tâches, comme nDCG@10, l’accuracy, l’AP ou la corrélation de Spearman. Son interprétation doit donc tenir compte de cette diversité méthodologique.

Dans la base, la médiane de 63 % et le meilleur résultat de 78 %, obtenu par codefuse-ai/F2LLM-v2-14B, montrent une dispersion notable parmi les 28 modèles évalués. Le classement met ainsi en évidence un avantage clair du modèle de tête, sans suggérer une saturation complète au niveau maximal de l’échelle. La portée reste centrée sur le thaï natif ou traduit par des humains, les tâches issues de traduction automatique et les tâches cross-lingual étant exclues. Enfin, la majorité des scores étant auto-déclarés par les éditeurs, le classement doit être lu avec davantage de prudence qu’une campagne entièrement mesurée et vérifiée de manière centralisée.

Sources des scores : mteb.