IFBench

IFBench est un benchmark conçu par l’Allen Institute for AI (AI2) et l’University of Washington pour évaluer la capacité des modèles à suivre des instructions complexes. Il s’appuie sur des prompts en anglais issus d’un ensemble WildChat tenu à l’écart.

L’évaluation porte sur le respect précis de contraintes de sortie vérifiables, notamment lorsque celles-ci sont hors domaine et inédites par rapport à l’entraînement. IFBench sert ainsi à distinguer l’exécution littérale des consignes de la simple production d’une réponse globalement pertinente.

Carte d'identité

Classement des modèles (27)

Classement établi sur 27 modèles évalués, dont 11 de grands éditeurs. Score médian de l'ensemble : 70,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle respecte fréquemment les contraintes vérifiables imposées à ses sorties, y compris face à des formats non vus pendant l’entraînement. Cette mesure par accuracy apporte un critère explicite, moins dépendant d’un jugement qualitatif. La rigueur pratique doit toutefois être nuancée, car les scores de la base sont majoritairement auto-déclarés par les éditeurs. Le caractère held-out des prompts et l’emploi de contraintes hors domaine visent la généralisation et limitent la dépendance aux contraintes d’IFTrain, sans élargir l’évaluation au-delà du suivi d’instructions en anglais. Avec 58 contraintes vérifiables, IFBench couvre une tâche ciblée plutôt qu’un éventail général de capacités. Le meilleur résultat observé, 82 % pour Nemotron 3 Ultra (550B A55B), reste inférieur à un respect systématique des contraintes, ce qui n’indique pas une saturation complète. La médiane de 71 % parmi 27 modèles montre néanmoins un niveau global déjà élevé, tandis que le classement fait apparaître une marge persistante entre performance courante et meilleure performance déclarée.

Sources des scores : llm-stats.