OCRBench-V2 (en)

OCRBench-V2 (en) est le sous-ensemble anglophone d’un benchmark bilingue consacré à l’OCR avancé des Large Multimodal Models. Publié en 2024 par le groupe de recherche académique de Yuliang Liu, avec Ling Fu, Zhebin Kuang et leurs coauteurs, il repose sur des questions-réponses centrées sur le texte présent dans les images.

L’évaluation couvre la localisation et la reconnaissance du texte, la perception fine des mises en page, le parsing d’éléments complexes et le raisonnement logique. Elle vise ainsi à mesurer la capacité des modèles à interpréter un contenu visuel textuel, au-delà de sa simple transcription.

Carte d'identité

Classement des modèles (12)

Classement établi sur 12 modèles évalués. Score médian de l'ensemble : 63,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique une bonne maîtrise combinée de la localisation, de la reconnaissance, du parsing et du raisonnement sur du texte anglais en contexte visuel. Les métriques variant selon les tâches, le score sur 100 constitue une synthèse de performances obtenues dans 31 scénarios plutôt qu’une mesure d’une seule aptitude. Les 10 000 paires de questions-réponses vérifiées humainement renforcent la rigueur du jeu d’évaluation. En revanche, les résultats recensés étant majoritairement auto-déclarés par les éditeurs, leur comparabilité dépend du respect d’un protocole commun.

Parmi les 12 modèles évalués, la médiane atteint 64 %, tandis que Qwen3 VL 32B Thinking arrive en tête à 68 %. Cet écart limité entre la médiane et le meilleur score montre un classement relativement resserré dans cette sélection, sans établir à lui seul une saturation complète du benchmark. Sa portée reste centrée sur le sous-ensemble anglais et sur les compétences OCR des modèles multimodaux. Son accès public implique aussi que la contamination des données doit être considérée comme un risque possible lors de l’interprétation des scores.

Sources des scores : llm-stats.