Legal Agent Benchmark

Legal Agent Benchmark est un benchmark open source créé par Harvey AI pour évaluer des agents d’IA confrontés à un travail juridique complexe et de longue durée. Il reproduit des tâches fondées sur des instructions écrites, un environnement de dossier client et la production d’un livrable.

L’évaluation porte notamment sur l’analyse de dossiers, la synthèse d’informations et la rédaction de mémos ou d’évaluations de risques. Des rubriques conçues par des experts vérifient les faits, les conclusions, les citations, la structure et les étapes du raisonnement.

Carte d'identité

Classement des modèles (12)

Classement établi sur 12 modèles évalués, dont 12 de grands éditeurs. Score médian de l'ensemble : 1,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un agent satisfait intégralement les exigences des tâches réussies. Le standard « all-pass » est particulièrement strict : l’échec d’un seul critère de rubrique suffit à faire échouer la tâche entière. Cette méthode valorise donc la complétude et la fiabilité du livrable plutôt qu’une réussite partielle. La lecture des résultats appelle néanmoins une distinction entre la rigueur du protocole et la provenance des scores, ceux de la base étant majoritairement auto-déclarés par les éditeurs.

Le classement montre une difficulté élevée pour les modèles évalués. Avec une médiane de 1 % et un meilleur résultat de 13 % pour Claude Fable 5, il ne présente pas de signe de saturation. Sa portée reste centrée sur le travail juridique en anglais et sur les domaines de pratique couverts. Son accès public doit aussi être pris en compte dans l’interprétation à long terme, notamment face au risque de contamination des évaluations. Les écarts observés reflètent avant tout la capacité à produire des livrables juridiques complets sous des contraintes cumulatives.

Sources des scores : llm-stats.