RealWorldQA

Créé par xAI en 2024, RealWorldQA évalue la compréhension visuelle élémentaire du monde réel par les modèles multimodaux. Il s’appuie sur des images anonymisées prises depuis des véhicules et dans d’autres situations concrètes, accompagnées de questions ouvertes appelant des réponses courtes et vérifiables.

Le benchmark cible particulièrement le raisonnement spatial, les relations entre objets et l’interprétation de scènes quotidiennes. Il sert ainsi à comparer la capacité des modèles à extraire d’une image des informations utiles sur l’organisation et la dynamique d’un environnement naturel.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (25)

Classement établi sur 25 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 78,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur RealWorldQA indique qu’un modèle répond correctement à une forte proportion de questions portant sur des scènes réelles, notamment lorsqu’il faut identifier des relations spatiales entre objets ou interpréter une situation quotidienne. La métrique d’accuracy offre une lecture directe des performances, mais la fiabilité du classement doit être nuancée, car les résultats recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un cadre commun indépendant.

Avec une médiane de 78 % sur 25 modèles et un meilleur résultat de 87 % pour Qwen3.7-Plus, le classement montre que les systèmes évalués atteignent déjà des niveaux relativement élevés. Cette proximité avec le maximum possible peut réduire progressivement le pouvoir discriminant du benchmark et signaler un risque de saturation. Son accès public implique également un risque de contamination à considérer lors de l’interprétation des scores. Enfin, sa portée reste ciblée par sa taille d’environ 765 questions, son contenu en anglais et sa spécialisation dans la compréhension spatiale d’images réelles.

Sources des scores : llm-stats.