ERQA

ERQA est un benchmark de Google DeepMind consacré au raisonnement incarné, c’est-à-dire à la compréhension d’interactions avec le monde physique à partir d’informations visuelles et textuelles entrelacées. Il repose sur des questions visuelles à choix multiples.

L’évaluation mobilise plusieurs dimensions complémentaires, notamment le raisonnement spatial, les trajectoires, les actions, l’estimation d’état et l’analyse multi-vues. ERQA sert ainsi à comparer la capacité des modèles à interpréter une scène, à relier différents points de vue et à sélectionner une réponse cohérente avec la situation observée.

Carte d'identité

Classement des modèles (22)

Classement établi sur 22 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 56,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ERQA indique qu’un modèle choisit fréquemment la bonne réponse parmi quatre options face à des problèmes visuels liés au monde physique. Il reflète une combinaison de perception et de raisonnement spatial, de trajectoire, d’action, d’état et multi-vues, sans mesurer séparément chacune de ces composantes. Dans la base, Seed 2.1 Pro domine avec 72 %, tandis que la médiane des 22 modèles atteint 56 %. Cet écart révèle une hiérarchie encore marquée et ne suggère pas une saturation générale du benchmark. La portée reste toutefois circonscrite à 400 QCM en anglais, avec l’exactitude comme unique métrique. Le format fermé peut aussi favoriser la sélection de la bonne option sans restituer tout le raisonnement sous-jacent. Comme le jeu est public, son exposition peut créer un risque de contamination lors du développement des modèles. Enfin, les scores étant majoritairement auto-déclarés par les éditeurs, leur comparabilité dépend de la rigueur et de l’homogénéité des procédures d’évaluation employées.

Sources des scores : llm-stats.