VITA-Bench

VITA-Bench est un benchmark créé par Meituan LongCat pour évaluer l’automatisation de tâches virtuelles inspirées de situations réelles. Il confronte des agents d’IA à des parcours interactifs en plusieurs étapes, qui nécessitent des appels d’outils dans un environnement simulé.

Son évaluation porte sur des activités variées, notamment la livraison de repas, la consommation en magasin et les voyages en ligne. La composition flexible de scénarios et d’outils permet d’observer la capacité des modèles à planifier, enchaîner des actions et mener une tâche complexe à son terme.

Carte d'identité

Classement des modèles (10)

Classement établi sur 10 modèles évalués. Score médian de l'ensemble : 38,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un agent réussit fréquemment les tâches proposées, en coordonnant plusieurs étapes et appels d’outils selon les rubriques de l’évaluateur à fenêtre glissante. Le taux de réussite mesure donc une exécution complète dans l’environnement simulé, plutôt qu’une simple réponse isolée. La fiabilité comparative reste à considérer avec prudence, car les scores de la base sont majoritairement auto-déclarés par les éditeurs, et non tous mesurés dans un cadre indépendant uniforme.

Le classement ne paraît pas saturé au sommet : Qwen3.5-397B-A17B atteint 50 %, contre une médiane de 39 % parmi les dix modèles évalués. Cet écart révèle un avantage du premier modèle, mais aussi une marge de progression générale sur ces tâches. La portée demeure circonscrite à des scénarios simulés, en anglais, couvrant les domaines représentés par VITA-Bench. Son accès public peut également accroître le risque de contamination au fil du temps, ce qui invite à distinguer performance au benchmark et capacité générale d’automatisation dans d’autres environnements.

Sources des scores : llm-stats.