SimpleVQA

SimpleVQA est un benchmark de questions-réponses visuelles créé par Xianfu Cheng et ses coauteurs en 2025. Il se concentre sur des requêtes simples, courtes et ancrées dans des connaissances factuelles, auxquelles les modèles doivent fournir une réponse ouverte concise.

Son objectif est d’évaluer la factualité multimodale, c’est-à-dire la capacité à interpréter une image, à mobiliser les connaissances pertinentes et à limiter les hallucinations. SimpleVQA sert ainsi à comparer les modèles sur une tâche ciblée, distincte des évaluations visuelles fondées sur des réponses longues ou des raisonnements complexes.

Carte d'identité

Classement des modèles (13)

Classement établi sur 13 modèles évalués, dont 1 de grands éditeurs. Score médian de l'ensemble : 67,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur SimpleVQA indique qu’un modèle répond correctement à une forte proportion de questions visuelles factuelles selon une évaluation LLM-as-judge. Il traduit donc une bonne maîtrise de requêtes multimodales simples et une capacité à éviter des réponses factuellement erronées dans ce cadre précis. La rigueur comparative doit toutefois être nuancée, car les scores de la base sont majoritairement auto-déclarés par les éditeurs plutôt qu’obtenus dans une procédure indépendante uniforme.

Le classement montre un écart notable entre la médiane de 67 % et les 82 % de Qwen3.7-Plus, meilleur modèle recensé. Ce résultat suggère une marge de progression et ne correspond pas à une saturation complète du benchmark. La portée reste néanmoins circonscrite à de courtes réponses factuelles réparties entre neuf catégories, sans représenter l’ensemble des aptitudes multimodales. Enfin, l’accès public au jeu crée un risque de contamination ou d’exposition préalable lors de l’entraînement. Les écarts observés doivent donc être interprétés comme des performances sur SimpleVQA, et non comme une mesure générale de l’intelligence visuelle.

Sources des scores : llm-stats.