EmbSpatialBench est un benchmark public consacré à l’évaluation de la compréhension et du raisonnement spatial incarné des grands modèles vision-langage. Créé par l’Université Fudan, Mengfei Du et al., il cible des situations en perspective égocentrique, où le modèle doit interpréter des…

DeepSearchQA est un benchmark conçu par Google DeepMind, avec Elena Gribovskaya et ses coauteurs, pour évaluer les capacités de recherche profonde et de question-réponse des agents d’IA. Il cible des tâches de recherche multi-étapes, dans lesquelles un modèle doit enchaîner plusieurs…

DeepPlanning est un benchmark public conçu par la Qwen Team d’Alibaba, avec Junyang Lin et al., pour évaluer des modèles de langage sur des tâches de planification agentique à long horizon.

ComplexFuncBench est un benchmark consacré à l’appel de fonctions complexe par les grands modèles de langage. Créé par Zhipu AI et l’Université Tsinghua (THUDM), il cible des situations où un modèle doit enchaîner plusieurs étapes de décision dans un seul tour, tout en respectant des…

BrowseComp est un benchmark créé par OpenAI pour évaluer des agents IA confrontés à des questions ouvertes nécessitant une recherche web active. Il cible des informations difficiles à trouver, souvent dispersées entre plusieurs sources, avec des réponses attendues courtes et vérifiables.

BFCL-V4, pour Berkeley Function Calling Leaderboard V4, est un benchmark conçu par la Gorilla LLM team de UC Berkeley pour évaluer la capacité des modèles à utiliser correctement des fonctions et des API. Il couvre des scénarios d’appels simples, multiples, parallèles et imbriqués, dans…

BFCL-v3, pour Berkeley Function Calling Leaderboard v3, est un benchmark public conçu par la Gorilla LLM team de l’UC Berkeley. Il évalue la capacité des grands modèles de langage à utiliser des fonctions dans des interactions complexes, multi-tours et multi-étapes, au-delà d’un simple…