Finance Agent v2

Finance Agent v2 est un benchmark agentique d’analyse financière créé par Vals AI. Il reproduit des tâches issues de workflows financiers réels, fondées sur la recherche d’informations dans des documents et sur leur exploitation raisonnée.

Il évalue la capacité des modèles à récupérer des documents financiers pertinents, effectuer des calculs en plusieurs étapes, construire des analyses et produire des réponses exactes. Il sert ainsi à comparer des systèmes capables d’enchaîner récupération, raisonnement et modélisation dans un même processus.

Carte d'identité

Classement des modèles (26)

Classement établi sur 26 modèles évalués, dont 17 de grands éditeurs. Score médian de l'ensemble : 42,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle réussit fréquemment des tâches agentiques complètes d’analyse financière, avec des réponses dont l’exactitude est vérifiée par des experts. Cette validation humaine renforce la rigueur du jeu de questions. La lecture des résultats exige toutefois une distinction entre le protocole du benchmark et la provenance des scores publiés, ceux-ci étant majoritairement auto-déclarés par les éditeurs.

Le classement ne paraît pas saturé : Gemini 3.5 Flash atteint 58 %, tandis que la médiane des 25 modèles évalués s’établit à 43 %. Cet écart révèle un avantage mesurable du meilleur système, mais aussi une marge de progression importante sur l’ensemble des workflows couverts. La portée reste ciblée sur l’analyse financière en anglais et ne permet d’interpréter les performances que dans ce cadre. Le caractère privé du jeu de test et la non-divulgation des réponses réduisent leur exposition directe, sans constituer à eux seuls une garantie absolue contre toute contamination. Le classement renseigne donc surtout sur la combinaison de récupération documentaire, de raisonnement, de calcul multi-étapes et de modélisation.

Sources des scores : llm-stats.