OmniDocBench 1.5

OmniDocBench 1.5 est un benchmark créé par OpenDataLab pour évaluer la compréhension et le parsing de documents par les grands modèles multimodaux. Il couvre notamment l’OCR, l’extraction d’information, l’analyse de la mise en page, les tables, les formules et la réponse à des questions visuelles.

L’évaluation porte sur le traitement bout-en-bout de pages PDF, jusqu’à la restitution de leur ordre de lecture. Des métriques spécialisées mesurent chaque composante, tandis que l’appariement Hybrid Matching introduit dans cette version vise à affiner la comparaison des sorties.

Carte d'identité

Classement des modèles (13)

Classement établi sur 13 modèles évalués, dont 5 de grands éditeurs. Score médian de l'ensemble : 89,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé dans le classement synthétique traduit une meilleure maîtrise globale du parsing documentaire. Il faut toutefois distinguer cette présentation en pourcentage des métriques sous-jacentes : pour l’Overall Edit Distance, une valeur plus faible est préférable. La fiabilité du classement doit être interprétée avec prudence, car les résultats sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un cadre indépendant uniforme.

Parmi les 13 modèles recensés, MiniMax M3 arrive en tête à 92 %, contre une médiane de 89 %. Cet écart réduit suggère un classement resserré et une possible saturation au sommet, où quelques points peuvent séparer plusieurs systèmes. Le caractère public du jeu crée aussi un risque de contamination si son contenu intervient dans l’entraînement ou l’optimisation des modèles. Enfin, la portée reste celle du corpus évalué : pages PDF, catégories documentaires et structures de mise en page retenues, avec des contenus en anglais, en chinois simplifié et mixtes EN-ZH. OmniDocBench 1.5 renseigne donc précisément la performance documentaire couverte, sans constituer une mesure générale de toutes les capacités multimodales.

Sources des scores : llm-stats.