ScreenSpot Pro

ScreenSpot Pro est un benchmark créé en 2025 par les auteurs ScreenSpot-Pro, Kaixin Li et al. Il évalue l’ancrage visuel dans des interfaces graphiques professionnelles en haute résolution, caractérisées par des éléments minuscules, nombreux et denses.

À partir d’une instruction en anglais et d’une capture d’écran authentique, un modèle doit localiser l’élément demandé. ScreenSpot Pro sert ainsi à mesurer la capacité des modèles multimodaux à percevoir et cibler précisément des composants d’interface dans des logiciels professionnels complexes.

Carte d'identité

Classement des modèles (23)

Classement établi sur 23 modèles évalués, dont 5 de grands éditeurs. Score médian de l'ensemble : 61,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique que le modèle place fréquemment son clic, ou son point prédit, à l’intérieur de la boîte englobante de l’élément cible. Cette mesure évalue directement la précision de l’ancrage, mais pas l’exécution complète d’une tâche au-delà de cette localisation. Les annotations réalisées par des experts et les captures authentiques issues de plusieurs environnements professionnels renforcent la rigueur du jeu. En revanche, les scores recensés sont majoritairement auto-déclarés par les éditeurs, ce qui appelle à la prudence lors des comparaisons. Avec une médiane de 62 % parmi les 23 modèles évalués et un meilleur résultat de 88 % pour Claude Opus 4.8, le classement révèle un écart net entre la performance centrale et la tête, ainsi qu’une marge avant saturation. La portée reste circonscrite à l’ancrage GUI sur des instructions en anglais, dans les applications, industries et systèmes couverts. Enfin, l’accès public au benchmark rend pertinente une vigilance générale quant à une éventuelle exposition des modèles aux données d’évaluation.

Sources des scores : llm-stats.