AA-LCR

AA-LCR, pour Agent Arena Long Context Reasoning benchmark, est un benchmark créé par Artificial Analysis en 2025. Il évalue la capacité des modèles d’IA à raisonner sur de longs contextes et à synthétiser des informations réparties dans plusieurs documents.

Chaque question mobilise environ 100 000 tokens et appelle une réponse ouverte, dont l’équivalence est jugée par un LLM. AA-LCR sert ainsi à comparer les modèles sur une tâche de compréhension et de synthèse à grande échelle, au-delà de la simple restitution d’un élément isolé.

Carte d'identité

Classement des modèles (15)

Classement établi sur 15 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 65,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle fournit plus souvent une réponse jugée équivalente à la réponse attendue après avoir rapproché des informations dispersées dans un vaste corpus documentaire. La mesure repose sur un verdict binaire, réussite ou échec, puis sur un taux moyen. Cette procédure offre un critère homogène, mais dépend du jugement d’un LLM. La fiabilité comparative doit aussi être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante unique.

Le meilleur résultat, obtenu par Mistral Small 4 à 71 %, reste assez éloigné d’un score maximal, ce qui ne signale pas une saturation complète du benchmark. La médiane de 64 % et l’écart limité avec le meilleur modèle montrent toutefois un classement relativement resserré parmi les 14 modèles évalués. La portée reste ciblée sur le raisonnement documentaire en anglais, à partir de 100 questions réparties sur 30 jeux de documents. Son accès public impose enfin de considérer le risque de contamination lors de l’interprétation des performances.

Sources des scores : llm-stats.