Arena Hard

Créé en 2024 par LMSYS / Chatbot Arena, Arena Hard est un benchmark public consacré aux modèles conversationnels instruction-tuned. Il rassemble des requêtes ouvertes difficiles issues de situations réelles, notamment en raisonnement, programmation, mathématiques, écriture et créativité.

Les réponses sont comparées par paires selon une approche LLM-as-a-judge, avec GPT-4.1 et Gemini-2.5 comme juges automatiques. Arena Hard vise ainsi à reproduire les préférences humaines et à mieux distinguer des modèles de qualité proche, avec une séparation annoncée trois fois supérieure à celle de MT-Bench.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (26)

Classement établi sur 26 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 57,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle remporte fréquemment ses comparaisons face au modèle de référence sur ces requêtes difficiles. La corrélation annoncée de 98,6 % avec les classements issus de préférences humaines soutient la pertinence de l’évaluation automatique. Cette lecture doit néanmoins rester prudente dans la modelothèque, car les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant commun.

Le classement fait apparaître une forte amplitude entre la médiane de l’ensemble, à 58 %, et Qwen3 235B A22B, premier à 96 %. Ce résultat souligne le pouvoir discriminant du benchmark, mais un score aussi proche du maximum peut aussi signaler un risque de saturation au sommet, où les écarts deviennent moins lisibles. La portée reste circonscrite à 500 prompts en anglais et à des réponses ouvertes jugées automatiquement. Enfin, l’accès public peut favoriser l’exposition des modèles aux contenus du benchmark, ce qui constitue un risque de contamination à considérer lors de l’interprétation des performances.

Sources des scores : llm-stats.