InfoVQA est un benchmark d’évaluation consacré à la compréhension d’infographies. Créé par Minesh Mathew et al. et publié en 2021, il met les modèles face à des images combinant texte, graphiques, mise en page et visualisations de données.

Hypersim est un benchmark de vision créé par Apple pour évaluer la compréhension holistique de scènes intérieures synthétiques photoréalistes. Il porte sur des tâches liées à la profondeur, à la géométrie 3D par pixel, à la segmentation d’instances et au grounding spatial.

Hallusion Bench est un benchmark public conçu par Tianyi Guan et al. pour évaluer le raisonnement multimodal image-texte des grands modèles vision-langage. Il s’intéresse à leur capacité à répondre à des questions oui/non en s’appuyant à la fois sur une image et sur un contexte textuel.

Graphwalks parents >128k est un benchmark d’OpenAI consacré au raisonnement sur des graphes encodés dans de très longs contextes. Il demande aux modèles d’identifier des nœuds parents à partir de structures représentées par des hashes hexadécimaux, avec des tâches nécessitant plusieurs…

Graphwalks parents <128k est un benchmark de raisonnement sur graphe en contexte long créé par OpenAI. Il évalue la capacité d’un modèle à retrouver les nœuds parents d’un nœud donné, c’est-à-dire les nœuds reliés à lui par une arête entrante, dans un graphe encodé sur une longue séquence.

Graphwalks BFS >128k est un benchmark d’OpenAI consacré au raisonnement relationnel sur graphe en très long contexte. Il évalue la capacité d’un modèle à exécuter des opérations de type breadth-first search sur des graphes synthétiques composés d’arêtes orientées, avec des contextes…

Graphwalks BFS <128k est un benchmark d’OpenAI consacré au raisonnement sur graphe en contexte long. Il évalue la capacité d’un modèle de langage à suivre des relations parent-enfant dans un graphe encodé en anglais sous forme de hachages hexadécimaux, avec des contextes inférieurs à…