LongBench v2 est un benchmark créé par THUDM (Tsinghua University) et d’autres contributeurs pour évaluer la capacité des grands modèles de langage à traiter des contextes très longs. Il privilégie des problèmes réalistes exigeant compréhension approfondie et raisonnement.

AA-LCR, pour Agent Arena Long Context Reasoning benchmark, est un benchmark créé par Artificial Analysis en 2025. Il évalue la capacité des modèles d’IA à raisonner sur de longs contextes et à synthétiser des informations réparties dans plusieurs documents.

RULER est un benchmark synthétique conçu par NVIDIA pour évaluer les modèles confrontés à de très longs contextes. Ses tâches en anglais couvrent la récupération d’information, le suivi multi-sauts, l’agrégation et la question-réponse, avec des réponses courtes ou structurées.

SQuALITY est un benchmark de compréhension de longs documents et de résumé abstrait orienté question. Il s’appuie sur des nouvelles du domaine public, lues puis résumées à partir de zéro par des contributeurs qualifiés, afin de produire des synthèses originales, fidèles et centrées sur…

MRCR, créé par OpenAI en 2025, est une tâche synthétique de raisonnement en contexte long. Il demande aux modèles de parcourir de longues conversations afin de retrouver puis reproduire une sortie précise parmi plusieurs demandes répétées et très similaires.

OpenAI-MRCR: 2 needle 128k est un benchmark créé par OpenAI pour évaluer la compréhension en contexte long. Il place plusieurs « aiguilles » identiques dans une conversation synthétique à plusieurs tours, puis demande au modèle de retrouver une occurrence précise d’une requête répétée.

Créé par OpenAI en 2025, MRCR v2 (8-needle) est une variante du benchmark Multi-Round Coreference Resolution consacrée aux très longs contextes. Il demande aux modèles de retrouver plusieurs éléments ciblés, appelés « aiguilles », au sein de conversations étendues contenant des demandes…

OpenAI-MRCR: 2 needle 1M est un benchmark créé par OpenAI pour évaluer les modèles de langage confrontés à de très longues conversations synthétiques en anglais. Il cible la résolution de coréférence sur plusieurs tours, lorsque plusieurs contenus similaires sont disséminés dans le…

MRCR v2, pour Multi-Round Coreference Resolution version 2, est un benchmark créé par OpenAI afin d’évaluer le raisonnement en très long contexte. Cette version enrichit le cadre MRCR original par des critères d’évaluation améliorés et une complexité accrue.