IF

LiveBench: IF est la catégorie consacrée au suivi d’instructions au sein de LiveBench, un benchmark créé par les auteurs de LiveBench, Colin White et al., avec Abacus.AI, NYU et NVIDIA. Publié en 2024, il repose sur une version durcie et sans contamination d’IFEval.

Les modèles sont confrontés à des tâches en anglais de paraphrase, de simplification, de résumé et de génération d’histoire. Une notation automatique sur vérité-terrain mesure leur capacité à respecter les consignes, tandis que l’actualisation régulière des questions contribue au rôle contamination-free de LiveBench.

Carte d'identité

Classement des modèles (7)

Classement établi sur 7 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 63,1 %.

Notre analyse

Un score élevé indique qu’un modèle respecte correctement les contraintes attendues sur plusieurs formes de suivi d’instructions, selon une mesure objective d’accuracy. Cette rigueur tient à la correction automatique sur vérité-terrain, à la version durcie d’IFEval et à l’actualisation régulière des questions. Il faut toutefois distinguer la méthode de notation de la provenance des résultats publiés dans la base, ceux-ci étant majoritairement auto-déclarés par les éditeurs.

Le classement montre une dispersion encore nette entre les 26 modèles évalués. Gemini 3.1 Pro Preview arrive en tête à 79 %, tandis que la médiane atteint 64 %. Cet écart suggère que la catégorie n’est pas saturée et qu’elle conserve un pouvoir discriminant entre modèles. La conception sans contamination vise à limiter l’exposition préalable aux questions, mais l’interprétation reste circonscrite au sous-ensemble « instruction following » de LiveBench. Elle porte sur quatre familles de tâches en anglais et ne résume donc pas les performances générales d’un modèle dans les cinq autres catégories du benchmark.

Sources des scores : livebench.