V*

V* est un benchmark de raisonnement visuel créé par Penghao Wu et Saining Xie, chercheurs à l’UC San Diego et à la New York University. Publié en 2023, il soumet les modèles multimodaux à des images haute résolution et visuellement denses.

Ses questions évaluent la reconnaissance d’attributs, la recherche visuelle guidée, la perception de détails fins et le raisonnement sur des relations spatiales. V* sert ainsi à mesurer la capacité d’un modèle à produire une réponse exacte en reliant des éléments visuels précis au sein de scènes complexes.

Carte d'identité

Classement des modèles (7)

Classement établi sur 7 modèles évalués. Score médian de l'ensemble : 93,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur V* indique qu’un modèle répond correctement à une forte proportion de questions portant sur des attributs visuels ou des relations spatiales. Il reflète donc une bonne efficacité sur ces tâches ciblées, sans constituer une mesure générale de toutes les capacités multimodales. Le classement présente un niveau central déjà très élevé, avec une médiane de 94 %, tandis que Kimi K2.6 atteint 97 %. Cet écart réduit entre la médiane et le meilleur résultat suggère une saturation du benchmark parmi les sept modèles évalués, ce qui limite sa capacité à départager finement les systèmes les plus performants. La métrique d’exactitude offre un critère clair, mais la rigueur comparative dépend aussi de la provenance des résultats, ici majoritairement auto-déclarés par les éditeurs plutôt qu’établis dans un protocole indépendant commun. Le caractère public du jeu implique également un risque d’exposition préalable ou de contamination à prendre en compte. Enfin, sa portée reste circonscrite à 191 images, à des questions en anglais et à deux familles précises de raisonnement visuel.

Sources des scores : llm-stats.