ODinW

ODinW, pour Object Detection in the Wild, est un benchmark publié par Microsoft en 2021 par l’équipe GLIP, notamment Liunian Harold Li et Pengchuan Zhang. Il évalue la capacité de modèles de détection d’objets à transférer leurs acquis vers des jeux de données réels diversifiés.

Les modèles doivent localiser des objets au moyen de boîtes englobantes, dans des configurations zero-shot ou few-shot. ODinW sert ainsi à comparer la précision des prédictions et l’efficacité d’adaptation au niveau des tâches, au-delà d’un jeu de données unique.

Carte d'identité

Classement des modèles (16)

Classement établi sur 16 modèles évalués. Score médian de l'ensemble : 44,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score mAP élevé indique que le modèle produit des détections globalement plus précises dans les différents contextes de transfert couverts par ODinW. Il traduit donc une meilleure capacité à appliquer un modèle de détection à des tâches variées, notamment avec peu ou pas d’exemples d’adaptation. La métrique commune fournit un cadre quantitatif de comparaison, mais la fiabilité pratique du classement doit être nuancée puisque les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière indépendante.

La portée reste celle de la détection d’objets par boîtes englobantes, avec des catégories textuelles en anglais et un ensemble défini de jeux de données réels. Les résultats ne doivent donc pas être généralisés à d’autres capacités. Parmi les 16 modèles recensés, Qwen3.6 Plus atteint 52 %, soit sept points au-dessus de la médiane de 45 %. Cet écart signale un avantage sur les tâches évaluées, sans suffire à établir une saturation générale du benchmark. Le classement reflète avant tout les performances déclarées dans le périmètre précis d’ODinW.

Sources des scores : llm-stats.