Email Classification (Baseline)

Benchable : Email Classification (Baseline) est un benchmark public créé par Benchable pour évaluer la classification automatique d’emails en anglais. Chaque cas demande d’attribuer un message à une seule catégorie parmi six types courants, couvrant notamment les communications personnelles, professionnelles, commerciales et transactionnelles.

Ce test de base mesure la capacité d’un modèle à reconnaître la fonction générale d’un email et à produire le nom de catégorie attendu. La validation repose sur une correspondance textuelle insensible à la casse, ce qui en fait un indicateur direct de réussite sur cette tâche ciblée.

Carte d'identité

Classement des modèles (164)

Classement établi sur 164 modèles évalués, dont 68 de grands éditeurs. Score médian de l'ensemble : 98,0 %.

Notre analyse

Un score élevé indique qu’un modèle associe presque toujours chaque email à la catégorie attendue, selon une validation stricte du nom de catégorie, mais tolérante à la casse. La fiabilité bénéficie du fait que les scores sont au moins partiellement mesurés par un tiers, plutôt que de reposer uniquement sur des résultats auto-déclarés.

Le classement montre toutefois une forte saturation : sur 259 modèles, le score médian atteint 98 %, tandis que DeepSeek V4 Pro atteint le plafond de 100 %. Le benchmark différencie donc peu les modèles les plus performants, et de faibles écarts peuvent correspondre à un nombre limité de cas sur un jeu de 100 tests. Sa portée reste circonscrite à une classification mono-label en anglais et à six catégories prédéfinies. L’accès public crée aussi une possibilité de contamination si les cas de test sont intégrés, directement ou indirectement, aux données ou aux procédures d’optimisation. Le classement révèle ainsi une maîtrise largement répandue de cette tâche de base, davantage qu’une hiérarchie fortement discriminante entre modèles avancés.

Sources des scores : benchable.