CharadesSTA

CharadesSTA est un benchmark de localisation temporelle d’activités dans des vidéos à partir de requêtes en langage naturel. Créé par Jiyang Gao, Chen Sun, Zhenheng Yang et Ram Nevatia, il étend Charades avec des annotations reliant des phrases descriptives à des segments vidéo précisément délimités.

Il mesure la capacité d’un modèle à comprendre une description textuelle, puis à retrouver le passage vidéo correspondant. CharadesSTA sert ainsi à évaluer conjointement la compréhension du langage, l’interprétation du contenu vidéo et la précision de l’alignement temporel.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (12)

Classement établi sur 12 modèles évalués. Score médian de l'ensemble : 60,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle retrouve fréquemment le segment pertinent parmi ses prédictions, avec un chevauchement temporel conforme aux seuils d’IoU retenus. L’évaluation par Recall@K combine donc qualité de localisation et présence de la bonne réponse dans les K résultats. La lecture du classement exige toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon un protocole indépendant commun.

Parmi les 12 modèles évalués, Qwen3 VL 235B A22B Instruct atteint 65 %, contre une médiane de 61 %. Cet écart resserré suggère une différenciation limitée au sommet de cette sélection et un possible début de saturation, sans signifier que la tâche est résolue. L’accès public au jeu crée aussi un risque potentiel de contamination si ses exemples ont été exposés pendant l’entraînement. Enfin, la portée du résultat reste ciblée sur des requêtes en anglais et sur la localisation temporelle d’activités dans les vidéos de CharadesSTA. Le classement renseigne donc sur cette aptitude précise, plutôt que sur les performances générales d’un modèle multimodal.

Sources des scores : llm-stats.