BLINK

Créé par Zeyi Fu et ses coauteurs en 2024, BLINK est un benchmark consacré aux capacités fondamentales de perception visuelle des modèles multimodaux. Il transforme des tâches classiques de vision par ordinateur en QCM associés à une ou plusieurs images, parfois accompagnées d’incitations visuelles.

Son évaluation couvre notamment la profondeur relative, les correspondances visuelles, la localisation, le comptage, le raisonnement spatial et multi-vues, ainsi que la détection forensique. BLINK sert ainsi à distinguer la simple lecture d’images d’une perception visuelle suffisamment précise pour résoudre des problèmes intuitifs pour les humains.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (13)

Classement établi sur 13 modèles évalués, dont 1 de grands éditeurs. Score médian de l'ensemble : 67,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur BLINK indique qu’un modèle répond correctement à une large part de questions portant sur plusieurs dimensions centrales de la perception visuelle. Il traduit donc une aptitude à exploiter les images pour comparer des profondeurs, repérer ou compter des objets, établir des correspondances et raisonner dans l’espace ou entre plusieurs vues. L’accuracy fournit une mesure directe, mais les résultats de la base sont majoritairement auto-déclarés par les éditeurs. Leur comparaison offre ainsi moins de garanties qu’une évaluation entièrement reproduite selon un protocole indépendant.

Avec une médiane de 68 % sur treize modèles et un meilleur résultat de 81 % pour Seed 2.1 Pro, le classement montre un écart notable entre le niveau central et la tête, sans indiquer une saturation complète du benchmark. Son accès public impose néanmoins de considérer le risque d’exposition préalable aux questions lors de l’interprétation des scores. Sa portée reste ciblée sur des QCM multimodaux en anglais et sur les capacités visuelles couvertes par ses tâches. Le classement renseigne donc sur ce périmètre précis, plutôt que sur l’ensemble des compétences d’un modèle multimodal.

Sources des scores : llm-stats.