DocVQA

DocVQA est un benchmark de questions-réponses visuelles consacré aux images de documents. Créé par M. Mathew, D. Karatzas et R. Manmatha en 2020, il évalue la capacité des modèles à lire un document, à en comprendre le contenu et à repérer les informations utiles.

Son intérêt tient aussi à la prise en compte de la structure visuelle. Les modèles doivent exploiter la mise en page et effectuer une recherche d’information afin de produire des réponses courtes à des questions ouvertes. DocVQA sert ainsi à comparer les systèmes de compréhension documentaire multimodale.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (26)

Classement établi sur 26 modèles évalués, dont 22 de grands éditeurs. Score médian de l'ensemble : 93,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score ANLS élevé indique qu’un modèle restitue avec précision les réponses attendues à partir du contenu et de l’organisation visuelle des documents. Dans la base, la médiane de 93 % et le meilleur résultat de 96 %, obtenu par Qwen2.5 VL 72B Instruct, montrent un classement très resserré parmi les 26 modèles évalués. Cet écart limité suggère une forme de saturation au sommet et réduit le pouvoir discriminant du benchmark entre les systèmes les plus performants. La rigueur de la comparaison doit toutefois être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune. Le jeu de test privé, dont les réponses ne sont pas divulguées, limite l’exposition directe des résultats attendus et donc une forme de contamination. La portée reste ciblée sur des questions ouvertes à réponse courte, en anglais, portant sur des images de documents. Le classement reflète donc avant tout la lecture, l’exploitation de la mise en page et l’extraction d’informations dans ce cadre précis.

Sources des scores : llm-stats.