ScreenSpot

Créé par Kanzhi Cheng et al. en 2024, ScreenSpot est un benchmark de grounding visuel consacré aux interfaces graphiques. Il évalue la capacité d’un modèle multimodal ou d’un agent visuel à comprendre une capture d’écran et à localiser précisément l’élément désigné par une instruction en langage naturel.

Son jeu couvre des environnements mobiles, de bureau et web, issus notamment d’iOS, Android, macOS et Windows. Les éléments annotés comprennent du texte ainsi que des icônes ou widgets, afin de tester la compréhension visuelle d’interfaces réalistes.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (16)

Classement établi sur 16 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 93,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ScreenSpot indique qu’un modèle localise correctement, dans une forte proportion des cas, l’élément demandé en anglais sur une capture d’écran. Cette performance reflète une aptitude au grounding visuel dans plusieurs familles d’interfaces, mais pas une évaluation générale de toutes les capacités d’un agent.

Le classement apparaît très resserré : la médiane des 16 modèles atteint 94 %, tandis que Qwen3 VL 32B Instruct arrive en tête à 96 %. Cet écart réduit suggère une saturation du benchmark parmi les modèles recensés et limite sa capacité à les départager finement. Le caractère public du jeu implique aussi de considérer un risque d’exposition préalable lors de l’interprétation des résultats, sans qu’il puisse être déduit des scores eux-mêmes. Enfin, la portée reste circonscrite à environ 1 272 instructions de localisation en anglais, couvrant des éléments textuels et des icônes ou widgets. La plupart des scores étant auto-déclarés par les éditeurs, leur comparaison offre une indication utile, mais une rigueur moins homogène qu’une mesure indépendante appliquée selon un protocole commun.

Sources des scores : llm-stats.