C-Eval

C-Eval est une suite d’évaluation en chinois conçue par Y. Huang et al., au sein de HKUST NLP et avec plusieurs collaborateurs. Elle examine les connaissances disciplinaires et les capacités de raisonnement de modèles de fondation dans un contexte éducatif et professionnel chinois.

Ses QCM couvrent les sciences humaines, les sciences et l’ingénierie, à plusieurs niveaux de difficulté. C-Eval Hard rassemble des matières particulièrement exigeantes en raisonnement avancé. Le benchmark sert ainsi à comparer la maîtrise de contenus académiques et spécialisés par différents modèles.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (18)

Classement établi sur 18 modèles évalués, dont 1 de grands éditeurs. Score médian de l'ensemble : 89,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur C-Eval indique une forte proportion de réponses correctes à des QCM disciplinaires en chinois, y compris dans des domaines demandant des connaissances avancées et du raisonnement. Il ne résume toutefois pas l’ensemble des capacités d’un modèle, car la portée reste centrée sur ce format, ces disciplines et le contexte chinois. Avec une médiane de 89 % parmi les 18 modèles recensés et un meilleur résultat de 93 % pour Qwen3.6 Plus, le classement montre des performances globalement élevées et un écart réduit entre le centre de l’ensemble et la première place. Cette concentration suggère un risque de saturation, qui peut limiter le pouvoir discriminant du benchmark pour les modèles les plus performants. Le jeu de test privé et la non-divulgation des réponses renforcent la protection contre une contamination directe par les corrigés. La rigueur comparative doit néanmoins être nuancée, puisque les scores de la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante unique.

Sources des scores : llm-stats.