ViDoRe V3

MTEB: ViDoRe V3 est un benchmark conçu par ILLUIN Technology avec NVIDIA pour évaluer la récupération multilingue de documents visuels complexes. Il couvre des contenus d’entreprise multimodaux issus notamment de la finance, de l’industrie, de l’informatique et du secteur pharmaceutique.

Publié en 2025, il mesure la capacité des modèles à retrouver des pages pertinentes et à soutenir des systèmes de RAG multimodal. Son cadre commun facilite la comparaison des modèles sur des tâches représentatives de la recherche d’information dans des environnements professionnels.

Carte d'identité

Classement des modèles (39)

Classement établi sur 39 modèles évalués, dont 15 de grands éditeurs. Score médian de l'ensemble : 52,6 %.

Notre analyse

Un score NDCG@10 élevé indique que le modèle place plus efficacement les pages pertinentes parmi ses dix premiers résultats, avec une meilleure valorisation des documents correctement classés en tête. Cette performance est particulièrement importante pour le RAG multimodal, puisque la qualité des éléments récupérés conditionne les informations transmises au système en aval.

La lecture du classement exige toutefois de la prudence. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui offre une garantie moins homogène qu’une évaluation entièrement mesurée par un tiers. Le caractère public du benchmark peut également accroître le risque d’exposition des jeux et donc de contamination. La présence de tâches privées apporte néanmoins un complément, avec une procédure dédiée pour soumettre les résultats.

Avec une médiane de 53 % parmi les 39 modèles recensés et un meilleur score de 64 % pour vultr/VultronRetrieverPrime-Qwen3.5-8B, le classement montre une avance mesurée plutôt qu’une saturation au sommet. Sa portée reste centrée sur la récupération visuelle multilingue de documents d’entreprise et ne résume pas les capacités générales d’un modèle.

Sources des scores : mteb.