LongBench v2

LongBench v2 est un benchmark créé par THUDM (Tsinghua University) et d’autres contributeurs pour évaluer la capacité des grands modèles de langage à traiter des contextes très longs. Il privilégie des problèmes réalistes exigeant compréhension approfondie et raisonnement.

Ses tâches couvrent notamment les questions sur un ou plusieurs documents, l’apprentissage en contexte, les dialogues longs, les dépôts de code et les données structurées. Ce périmètre permet de comparer la manière dont les modèles mobilisent des informations dispersées dans des volumes de contexte particulièrement importants.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (15)

Classement établi sur 15 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 60,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur LongBench v2 correspond à une forte proportion de réponses correctes aux QCM. Il indique qu’un modèle parvient à retrouver, relier et exploiter des informations dans de longs contextes, sur plusieurs formes de contenus et de raisonnement. L’interprétation doit toutefois tenir compte du protocole de remontée des résultats : les scores de la base sont majoritairement auto-déclarés par les éditeurs, ce qui offre une garantie de comparabilité moins forte qu’une évaluation entièrement mesurée de manière indépendante.

Parmi les 15 modèles évalués, Qwen3.5-397B-A17B arrive en tête à 63 %, contre une médiane de 61 %. Ce faible écart suggère une différenciation limitée dans cette zone du classement et un possible début de saturation, sans signifier que les tâches sont résolues dans leur ensemble. Le caractère public du benchmark crée aussi un risque de contamination par exposition aux questions. Enfin, sa portée reste celle de QCM en anglais, centrés sur six catégories de tâches à contexte long, et ne résume donc pas toutes les capacités d’un modèle.

Sources des scores : llm-stats.