OpenAI-MRCR: 2 needle 128k

OpenAI-MRCR: 2 needle 128k est un benchmark créé par OpenAI pour évaluer la compréhension en contexte long. Il place plusieurs « aiguilles » identiques dans une conversation synthétique à plusieurs tours, puis demande au modèle de retrouver une occurrence précise d’une requête répétée.

L’épreuve sollicite ainsi la récupération d’information, la résolution de coréférence et la désambiguïsation entre des éléments similaires. Elle vise à distinguer une compréhension structurée de la conversation d’une simple capacité à repérer un contenu isolé dans un long contexte.

Carte d'identité

Classement des modèles (8)

Classement établi sur 8 modèles évalués, dont 7 de grands éditeurs. Score médian de l'ensemble : 42,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique que le modèle restitue précisément l’instance demandée malgré la répétition de requêtes identiques et la longueur du dialogue. L’évaluation repose sur le ratio SequenceMatcher de difflib, appliqué à une réponse préfixée par un hash. Cette mesure quantifie la proximité avec la réponse attendue, mais ne constitue pas à elle seule une appréciation générale du raisonnement.

Le meilleur résultat, 95 % pour GPT-5, est très supérieur à la médiane de 43 %. Il montre qu’un modèle peut approcher la saturation sur cette configuration, sans établir que l’ensemble des modèles y soit parvenu. La portée reste ciblée : conversations synthétiques en anglais, deux aiguilles, contexte de 128k et tâche de récupération avec coréférence. Le caractère public du benchmark impose aussi de considérer le risque de contamination lors de l’interprétation des performances.

La rigueur comparative est limitée par l’origine des résultats, majoritairement auto-déclarés par les éditeurs. Surtout, sept des huit modèles classés sont édités par OpenAI, également créateur du benchmark. Le classement renseigne donc principalement sur les modèles OpenAI et ne constitue pas une source indépendante pour les comparer à ceux d’autres éditeurs.

Sources des scores : llm-stats.