OSWorld-Verified

OSWorld-Verified est un sous-ensemble vérifié d’OSWorld, conçu en 2025 par XLang Lab, à l’University of Hong Kong. Il propose un environnement informatique réel et évolutif dans lequel des agents multimodaux accomplissent des tâches ouvertes sur Ubuntu, Windows et macOS.

Le benchmark mesure la capacité à comprendre une interface graphique, naviguer entre plusieurs applications, manipuler des fichiers et exécuter des workflows concrets. Il sert ainsi à évaluer des modèles au-delà de la génération de réponses, en observant leur aptitude à agir, se configurer et apprendre de manière interactive.

Carte d'identité

Classement des modèles (19)

Classement établi sur 19 modèles évalués, dont 12 de grands éditeurs. Score médian de l'ensemble : 73,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un agent réussit fréquemment les tâches demandées dans leur environnement réel, selon des scripts d’évaluation propres à chaque tâche. Cette mesure fondée sur l’exécution apporte davantage de rigueur qu’une appréciation textuelle du résultat. Toutefois, les scores de la base étant majoritairement auto-déclarés par les éditeurs, leur comparabilité dépend aussi des conditions de test et de la fidélité des déclarations.

Le classement montre un niveau global déjà élevé parmi les 18 modèles évalués, avec une médiane de 73 % et Claude Fable 5 en tête à 85 %. Cet écart laisse encore une marge de progression, même si des scores concentrés dans le haut de l’échelle peuvent progressivement réduire le pouvoir discriminant du benchmark. Son accès public appelle également à considérer le risque de contamination lors de l’interprétation des performances. Enfin, sa portée reste centrée sur des tâches informatiques ouvertes, des interfaces en anglais et des workflows GUI multi-applications sur les trois systèmes pris en charge. Il évalue donc l’action dans un OS réel, plutôt que l’ensemble des capacités générales d’un modèle.

Sources des scores : llm-stats.