WritingBench

WritingBench est un benchmark bilingue consacré aux capacités de rédaction générative des grands modèles de langage. Publié en 2025 par Alibaba Group, via Tongyi Lab, avec des collaborateurs de Renmin University et de SJTU, il couvre des productions créatives, persuasives, informatives et techniques.

Les tâches ouvertes portent sur six grands domaines et de nombreux sous-domaines. L’évaluation adapte ses critères à chaque requête, puis mobilise un modèle critique affiné pour apprécier notamment le style, le format et la longueur. WritingBench sert ainsi à comparer la qualité rédactionnelle et le respect d’instructions variées.

Carte d'identité

Classement des modèles (15)

Classement établi sur 15 modèles évalués. Score médian de l'ensemble : 85,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur WritingBench indique qu’un modèle produit des textes répondant efficacement aux critères propres à chaque tâche, notamment en matière de style, de format et de longueur. Le cadre dynamique, qui génère cinq critères spécifiques par requête, apporte davantage de finesse qu’une grille identique pour toutes les productions. Il reste toutefois fondé sur un jugement automatisé par LLM et modèle critique, tandis que les résultats de la base sont majoritairement auto-déclarés par les éditeurs.

La médiane de 85 % et le meilleur score de 88 % montrent un classement resserré, signe d’une différenciation limitée parmi les modèles recensés et d’un possible effet de saturation. L’accès public peut aussi exposer le jeu à un risque de contamination lors de l’entraînement ou de l’optimisation des modèles. Sa portée demeure centrée sur la rédaction en anglais et en chinois, selon les domaines couverts. Enfin, le classement révèle surtout les performances de la gamme Qwen : 14 des 15 modèles classés proviennent de cet éditeur, également co-développeur du benchmark. WritingBench ne constitue donc pas une source indépendante pour comparer Qwen aux autres éditeurs.

Sources des scores : llm-stats.