BFCL v2, pour Berkeley Function Calling Leaderboard v2, est un benchmark public créé par Berkeley Gorilla / UC Berkeley afin d’évaluer les capacités de function calling des grands modèles de langage. Il porte sur la sélection d’outils pertinents, la production d’appels structurés et…

BFCL, pour Berkeley Function Calling Leaderboard, est un benchmark conçu par UC Berkeley et l’équipe Gorilla LLM afin d’évaluer l’appel de fonctions par les grands modèles de langage. Il se concentre sur la capacité à comprendre une instruction en langage naturel, à choisir l’outil…

AndroidWorld_SR est un benchmark de Google Research consacré aux agents autonomes multimodaux opérant sur Android. Il évalue leur capacité à interpréter une consigne en langage naturel, percevoir une interface mobile et enchaîner des actions pour mener à bien des tâches concrètes dans…

APEX-Agents est un benchmark créé par Mercor pour évaluer des agents IA dans des tâches professionnelles de long horizon. Il cible des workflows de travail de la connaissance hautement qualifiés, où la réussite dépend d’un raisonnement soutenu, d’une planification cohérente et de…