CC-OCR

CC-OCR est un benchmark conçu en 2024 par Alibaba Group, via Alibaba Research et l’équipe Qwen, pour évaluer les capacités de lecture des Large Multimodal Models. Il couvre la reconnaissance de texte dans des scènes variées et plusieurs langues, y compris les textes orientés de différentes manières et leur ancrage visuel.

L’évaluation s’étend aussi au parsing de documents et à l’extraction d’informations structurées. CC-OCR sert ainsi à mesurer la capacité des modèles multimodaux à interpréter fidèlement des contenus textuels complexes, tout en repérant les phénomènes d’hallucination ou de répétition.

Carte d'identité

Classement des modèles (18)

Classement établi sur 18 modèles évalués. Score médian de l'ensemble : 80,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur CC-OCR traduit une bonne restitution du texte et des informations attendues dans les quatre tracks, selon des mesures fondées sur la distance d’édition et le F1, puis agrégées dans un score global. La diversité des scènes, des langues et des tâches, ainsi que la part d’images provenant d’applications réelles, donnent au benchmark une portée pratique pour l’OCR multimodal. Cette portée reste toutefois centrée sur la lecture visuelle, le parsing documentaire et l’extraction d’informations, et ne représente pas l’ensemble des capacités d’un modèle multimodal.

Le classement apparaît fortement resserré autour d’un niveau élevé, avec une médiane de 80 % et un meilleur score de 83 % pour Qwen3.6 Plus. Cet écart réduit suggère une capacité limitée à départager finement les modèles classés, ce qui peut signaler un début de saturation sur cet ensemble. La rigueur d’interprétation est aussi restreinte par l’origine des résultats, majoritairement auto-déclarés par les éditeurs. Enfin, les 18 modèles classés sont tous édités par Qwen, également impliqué dans le développement de CC-OCR. Le classement renseigne donc surtout sur les écarts internes à cette gamme et ne constitue pas une comparaison indépendante entre éditeurs.

Sources des scores : llm-stats.