BFCL-v3

BFCL-v3 est un benchmark conçu en 2024 par la Gorilla LLM team de l’UC Berkeley pour évaluer les capacités d’appel de fonctions des grands modèles de langage dans des interactions agentiques.

Il confronte les modèles à des échanges multi-tours et à des tâches en plusieurs étapes, qui exigent de conserver le contexte, de décider quand et comment appeler des fonctions, puis d’enchaîner des appels séquentiels ou imbriqués. Il mesure ainsi l’aptitude à exécuter correctement des demandes complexes ayant des effets sur un système.

Carte d'identité

Classement des modèles (19)

Classement établi sur 19 modèles évalués, dont 1 de grands éditeurs. Score médian de l'ensemble : 70,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur BFCL-v3 indique qu’un modèle sait maintenir les informations pertinentes au fil d’une conversation et orchestrer plusieurs appels de fonctions jusqu’à l’état attendu. L’exactitude combine une vérification AST et une évaluation fondée sur l’état du système, ce qui contrôle à la fois la structure des appels, le chemin d’exécution et leurs effets. Cette rigueur méthodologique doit toutefois être distinguée de la provenance des résultats, puisque les scores recensés sont majoritairement auto-déclarés par les éditeurs.

Le classement place GLM-4.5 en tête à 78 %, contre une médiane de 70 % pour les 19 modèles évalués. Cet écart montre un avantage mesurable, sans indiquer une saturation complète puisque le meilleur résultat reste éloigné de l’exactitude maximale. La portée demeure celle d’environ 1 000 cas, centrés notamment sur le contrôle de véhicules, les bots de trading, la réservation de voyages et la gestion de fichiers. Enfin, l’accès public appelle à considérer le risque de contamination lors de l’interprétation des performances, particulièrement pour des modèles susceptibles d’avoir été exposés au benchmark.

Sources des scores : llm-stats.