MRCR v2 (8-needle)

Créé par OpenAI en 2025, MRCR v2 (8-needle) est une variante du benchmark Multi-Round Coreference Resolution consacrée aux très longs contextes. Il demande aux modèles de retrouver plusieurs éléments ciblés, appelés « aiguilles », au sein de conversations étendues contenant des demandes dupliquées et des distracteurs.

Le test mesure la capacité à suivre simultanément plusieurs informations identiques, à résoudre leurs coréférences et à restituer l’occurrence demandée dans un contexte pouvant atteindre un million de tokens. Il sert ainsi à comparer la robustesse du raisonnement et de la récupération d’information à longue portée.

Carte d'identité

Classement des modèles (19)

Classement établi sur 19 modèles évalués, dont 19 de grands éditeurs. Score médian de l'ensemble : 33,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle retrouve avec précision les occurrences demandées malgré leur duplication, les distracteurs et l’allongement du contexte. La métrique repose sur un ratio de correspondance de séquence, de type SequenceMatcher. Elle évalue donc la proximité entre la réponse produite et la séquence attendue, plutôt qu’une appréciation humaine globale du raisonnement.

La lecture du classement exige toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs. Cette provenance rend la comparaison moins homogène qu’une évaluation entièrement conduite par un même tiers. L’accès public au benchmark impose aussi de garder à l’esprit un risque de contamination, sans qu’il puisse être déduit des scores eux-mêmes.

Avec une médiane de 30 % parmi les dix modèles évalués et un meilleur résultat de 76 % pour Claude Opus 4.6, le classement fait apparaître un écart important entre la performance centrale et la tête. Le meilleur score restant inférieur à 100 %, les résultats ne montrent pas de saturation complète. Leur portée demeure ciblée sur la récupération et la coréférence en anglais dans de très longs contextes, et non sur l’ensemble des capacités d’un modèle.

Sources des scores : llm-stats.