NOVA-63

NOVA-63 est un benchmark d’évaluation multilingue conçu par Jinyang Zhang et ses coauteurs de l’Université de Pékin et d’Alibaba Group. Il repose sur des questions rédigées directement par des locuteurs natifs, afin d’éviter les formulations artificielles issues de traductions.

Le benchmark mesure les capacités des grands modèles de langage dans des contextes linguistiques variés et à travers 63 disciplines académiques. Le contrôle de la difficulté vise à rendre les résultats comparables et à mieux distinguer les performances des modèles sur des connaissances et tâches diversifiées.

Carte d'identité

Classement des modèles (11)

Classement établi sur 11 modèles évalués. Score médian de l'ensemble : 57,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur NOVA-63 indique une meilleure capacité à traiter des questions multilingues rédigées naturellement, dans un large éventail de disciplines et avec une difficulté contrôlée. Dans la base, l’écart entre le meilleur résultat, obtenu par Qwen3.5-397B-A17B, et le score médian n’est que d’un point. Cette faible dispersion limite le pouvoir discriminant du classement à son sommet et peut signaler une forme de saturation parmi les modèles évalués.

La lecture des résultats exige toutefois de la prudence. Les scores sont majoritairement auto-déclarés par les éditeurs, plutôt que mesurés dans un cadre indépendant et uniforme. La portée comparative est également restreinte par la composition du classement : les onze modèles présents sont édités par Qwen, qui a aussi codéveloppé NOVA-63. Le leaderboard renseigne donc surtout sur les écarts internes à cette gamme. Il ne constitue pas une source indépendante pour comparer les modèles Qwen à ceux d’autres éditeurs. La rédaction native des questions réduit le biais lié au translationese, sans changer cette limite structurelle du classement.

Sources des scores : llm-stats.