TextVQA

TextVQA est un benchmark conçu en 2019 par Amanpreet Singh et ses coauteurs, issus de Facebook AI Research et de Georgia Tech. Il évalue la capacité des modèles multimodaux à lire le texte visible dans une image, puis à raisonner sur ce contenu afin de répondre à une question visuelle.

Le benchmark cible des questions ouvertes à réponse courte en anglais. Il comble le manque de questions fondées sur du texte dans les précédents jeux VQA et sert notamment à évaluer des systèmes destinés aux technologies d’assistance pour les personnes malvoyantes.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (15)

Classement établi sur 15 modèles évalués, dont 12 de grands éditeurs. Score médian de l'ensemble : 80,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur TextVQA indique qu’un modèle parvient fréquemment à combiner reconnaissance du texte dans l’image, compréhension de la question et raisonnement pour produire une réponse courte correcte. La VQA accuracy fournit une mesure commune, tandis que le caractère privé des réponses du jeu de test limite l’accès direct aux solutions attendues. La rigueur comparative reste toutefois à nuancer, car les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant unique.

Parmi les 15 modèles évalués dans la base, Qwen2-VL-72B-Instruct arrive en tête avec 86 %, contre une médiane de 80 %. Cet écart relativement réduit suggère un classement déjà resserré dans sa partie haute et un risque de saturation progressive, qui peut rendre les différences moins discriminantes. Le test privé réduit le risque d’exposition directe aux réponses, sans suffire à écarter toute contamination liée au benchmark. Enfin, TextVQA mesure une compétence ciblée, sur des images et des questions courtes en anglais. Ses résultats ne résument donc pas l’ensemble des capacités multimodales d’un modèle.

Sources des scores : llm-stats.