OSWorld

OSWorld est un benchmark créé en 2024 par Tianbao Xie et al., au sein de XLang Lab et avec plusieurs collaborateurs. Il propose des tâches agentiques interactives réalisées dans de véritables environnements informatiques sous Ubuntu, Windows et macOS.

Il évalue la capacité d’agents multimodaux à comprendre l’écran, à planifier une procédure et à exécuter des actions dans des applications web et bureautiques réelles. Son évaluation fondée sur l’exécution vise ainsi à mesurer le comportement opérationnel des modèles, notamment lors de manipulations de fichiers et de workflows impliquant plusieurs applications.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (20)

Classement établi sur 20 modèles évalués, dont 5 de grands éditeurs. Score médian de l'ensemble : 39,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé dans OSWorld indique qu’un agent réussit une forte proportion de tâches informatiques complètes, depuis l’interprétation visuelle de l’écran jusqu’à l’exécution des actions prévues. Cette métrique mesure un résultat concret plutôt qu’une réponse isolée. La fiabilité comparative doit néanmoins être nuancée, car les scores de la base sont majoritairement auto-déclarés par les éditeurs, et non tous établis dans un même processus de mesure indépendant.

Le classement montre un écart important entre la médiane de 40 % et Seed 2.1 Pro, en tête à 79 %. Ce niveau maximal laisse encore une marge d’échec notable et ne signale donc pas une saturation complète du benchmark. La portée reste circonscrite à 369 tâches en anglais, couvrant des applications web et de bureau sur trois systèmes d’exploitation. Son accès public facilite la comparaison et l’apprentissage interactif, mais peut aussi accroître le risque que les tâches soient connues des modèles ou de leurs concepteurs. OSWorld renseigne ainsi surtout sur l’efficacité agentique dans les environnements informatiques qu’il couvre.

Sources des scores : llm-stats.