Arena-Hard v2

Arena-Hard v2 est un benchmark conçu en 2025 par LMArena, anciennement LMSYS, notamment par Tianle Li et Wei-Lin Chiang. Il rassemble des requêtes utilisateur réelles et difficiles issues de Chatbot Arena et de WildChat-1M.

Son objectif est d’évaluer la capacité des modèles à répondre à des problèmes ouverts en ingénierie logicielle, mathématiques, écriture créative et résolution technique. Fondé sur des juges automatisés, il cherche à mieux différencier les modèles tout en restant fortement corrélé aux préférences humaines observées dans Chatbot Arena.

Carte d'identité

Classement des modèles (16)

Classement établi sur 16 modèles évalués, dont 2 de grands éditeurs. Score médian de l'ensemble : 66,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Arena-Hard v2 indique qu’un modèle remporte fréquemment les comparaisons effectuées par GPT-4.1 et Gemini-2.5 sur des requêtes complexes, spécifiques et ancrées dans des usages réels. La méthode LLM-as-judge atteint une corrélation de 98,6 % avec les classements de préférences humaines et produit une séparation des performances trois fois supérieure à celle de MT-Bench, ce qui renforce sa capacité discriminante.

Cette rigueur méthodologique doit toutefois être distinguée de la provenance des résultats recensés dans la base, majoritairement auto-déclarés par les éditeurs. Le caractère public du benchmark implique aussi un risque de contamination à prendre en compte. Sa portée reste centrée sur des requêtes en anglais et sur les domaines couverts par sa sélection de prompts. Les scores observés ne signalent pas une saturation complète, le meilleur résultat restant à 86 %. Parmi les 16 modèles évalués, MiMo-V2-Flash se détache à 86 %, nettement au-dessus de la médiane de 66 %, ce qui révèle une différenciation encore marquée au sommet du classement.

Sources des scores : llm-stats.