Chemical

MTEB: Chemical est un benchmark public créé en 2024 par BASF dans le cadre de ChemTEB. Il évalue la qualité des embeddings de texte spécialisés en chimie, notamment leur aptitude à représenter la littérature et les données de ce domaine.

La suite couvre plusieurs usages complémentaires : bitext mining, classification, clustering, pair classification et retrieval. Elle permet ainsi de comparer les modèles sur différentes formes de compréhension et d’organisation de contenus chimiques en anglais, au moyen de scores adaptés à chaque tâche puis agrégés.

Carte d'identité

Classement des modèles (41)

Classement établi sur 41 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 69,6 %.

Notre analyse

Un score élevé indique qu’un modèle produit des représentations textuelles efficaces sur plusieurs tâches chimiques. L’interprétation repose toutefois sur une agrégation de métriques différentes, dont nDCG@10, accuracy, V-measure et average precision : le résultat synthétise donc des aptitudes variées plutôt qu’une performance unique.

La fiabilité du classement doit être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs. Cette méthode offre une base comparative, mais présente moins de garanties qu’une évaluation entièrement mesurée selon un protocole indépendant et uniforme. La portée reste centrée sur les embeddings de textes chimiques en anglais et ne résume pas les capacités générales d’un modèle. La proximité entre la médiane à 70 % et le meilleur résultat à 79 % suggère une différenciation relativement resserrée parmi les modèles recensés, sans démontrer à elle seule une saturation du benchmark. codefuse-ai/F2LLM-v2-8B arrive en tête, ce qui signale une forte efficacité agrégée sur cette suite, sans exclure des écarts selon les catégories de tâches. Comme pour tout benchmark public, la contamination constitue un risque à considérer lors de l’interprétation, sans pouvoir être déduite du seul classement.

Sources des scores : mteb.