OCRBench

OCRBench est un benchmark créé en 2023 par Yuliang Liu et ses coauteurs pour évaluer les capacités de reconnaissance optique de caractères des grands modèles multimodaux.

À partir d’images, de scènes naturelles et de documents, il mesure leur aptitude à lire et reconnaître du texte, puis à l’exploiter dans des réponses courtes. Il couvre la reconnaissance textuelle, la VQA centrée sur le texte et la compréhension de documents, offrant ainsi un cadre commun pour comparer les performances OCR de ces modèles.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (22)

Classement établi sur 22 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 87,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur OCRBench indique qu’un modèle répond correctement, selon une évaluation par accuracy ou exact match, à une large part des questions portant sur le texte visible dans les images et documents. Il traduit donc une bonne capacité combinée de lecture, de reconnaissance et d’exploitation du contenu textuel. Dans la base, la médiane atteint 88 %, tandis que Kimi K2.5 de Moonshot AI obtient 92 %. Cet écart limité suggère un classement resserré et une possible saturation parmi les modèles évalués, ce qui réduit le pouvoir discriminant du score total à ce niveau de performance. La rigueur de la comparaison doit aussi être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant commun. L’accès public au benchmark et son recours à des questions provenant de 29 jeux de données créent également un risque potentiel de contamination. Enfin, sa portée reste centrée sur l’OCR multimodal, principalement en anglais, et ne représente pas l’ensemble des capacités générales d’un modèle.

Sources des scores : llm-stats.