ViDoRe (V1&V2)

MTEB: ViDoRe (V1&V2) est un benchmark public de récupération de documents visuels, créé en 2024 par Illuin Technology, au sein de l’équipe ColPali. Il combine les tâches de ViDoRe v1 et v2 autour de documents visuellement riches.

Il mesure la capacité des modèles à retrouver, à partir de requêtes, des pages pertinentes contenant du texte, des figures, des tableaux et des mises en page variées. Son périmètre multilingue et multidomaine permet de comparer les systèmes sur des contenus documentaires diversifiés.

Carte d'identité

Classement des modèles (48)

Classement établi sur 48 modèles évalués, dont 7 de grands éditeurs. Score médian de l'ensemble : 81,2 %.

Notre analyse

Un score NDCG@10 élevé indique que le modèle place fréquemment les documents pertinents parmi ses dix premiers résultats, avec une meilleure valorisation des réponses correctement ordonnées en tête de liste. Le classement montre un niveau global élevé parmi les 48 modèles recensés, avec seulement cinq points entre le score médian et le meilleur résultat. DataScience-UIBK/Argus-Colqwen3.5-9b-v0 occupe la première place, ce qui signale une performance particulièrement forte sur l’ensemble combiné des tâches ViDoRe. Cette proximité au sommet peut toutefois réduire le pouvoir discriminant du benchmark et évoquer un début de saturation. La rigueur comparative doit aussi être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un cadre indépendant commun. L’accès public facilite l’évaluation reproductible, mais crée également un risque d’adaptation aux tâches ou de contamination. Enfin, la portée reste ciblée sur la récupération de documents visuellement riches, dans les domaines et langues couverts, notamment l’anglais et le français.

Sources des scores : mteb.