OfficeQA Pro est un benchmark public créé par Databricks pour évaluer des modèles d’IA sur des tâches proches du travail de bureau réel. Il se concentre sur le raisonnement ancré dans des documents d’entreprise, avec des questions qui exigent de relier plusieurs sources plutôt que de…

Nexus est un benchmark publié par Nexusflow pour évaluer la capacité des grands modèles de langage à produire des appels de fonctions et d’API en contexte zero-shot. Il se concentre sur des interactions avec des API réelles, notamment dans la cybersécurité, comme CVE/CPE et VirusTotal.

MCP-Mark est un benchmark public consacré à l’évaluation des modèles de langage dans des tâches agentiques reposant sur le Model Context Protocol. Créé par EVAL SYS (eval-sys), il observe la capacité d’un modèle à découvrir des outils MCP, à choisir le bon outil, à l’invoquer…

Legal Agent Benchmark est un benchmark open source de Harvey AI consacré à l’évaluation d’agents IA sur des travaux juridiques complexes et de longue durée. Il vise des situations proches d’un dossier client, où le modèle doit analyser des informations, les synthétiser et produire des…

GDPval-AA est une variante indépendante du benchmark GDPval d’OpenAI, exécutée par Artificial Analysis pour évaluer des modèles d’IA sur des tâches de travail intellectuel à valeur économique réelle. Le test se concentre sur des productions professionnelles ouvertes, proches de livrables…

Finance Agent v2 est un benchmark d’analyse financière agentique créé par Vals AI. Il évalue des modèles sur des flux de travail proches de cas réels, où il faut retrouver des informations dans des documents financiers, raisonner à partir de ces éléments et effectuer des calculs en…

Finance Agent est un benchmark public conçu par Vals AI pour évaluer des modèles d’IA sur des tâches agentiques d’analyse financière. Il porte sur des situations de recherche et d’analyse proches d’usages réels, avec des réponses ouvertes vérifiées plutôt qu’un simple questionnaire fermé.