Instruction Following (Baseline)

Benchable : Instruction Following (Baseline) est un benchmark public créé par Benchable pour évaluer la capacité des modèles d’IA à suivre précisément des consignes en anglais. Les tâches progressent de directives simples vers des instructions conditionnelles à plusieurs niveaux, pouvant cumuler de nombreuses exigences.

Le test examine notamment le respect du formatage, de l’ordre du contenu, des calculs et de la logique conditionnelle. Sa notation par correspondance exacte de l’ensemble du texte en fait un indicateur strict de conformité, utile pour distinguer les modèles capables d’exécuter fidèlement des instructions complexes.

Carte d'identité

Classement des modèles (164)

Classement établi sur 164 modèles évalués, dont 69 de grands éditeurs. Score médian de l'ensemble : 62,0 %.

Notre analyse

Un score élevé indique qu’un modèle respecte littéralement les contraintes demandées, y compris lorsque leur nombre et leur imbrication augmentent. La correspondance exacte est particulièrement rigoureuse : une réponse globalement correcte peut échouer si son texte ne satisfait pas entièrement le format, l’ordre ou les conditions imposées. Les scores étant au moins partiellement mesurés par un tiers, leur fiabilité ne repose pas uniquement sur des résultats auto-déclarés. Le classement met en évidence une forte dispersion entre la médiane de l’ensemble et DeepSeek R1 Distill Llama 70B, qui atteint la conformité maximale. Ce résultat signale aussi un risque de saturation au sommet, puisque le benchmark ne peut plus départager les modèles obtenant 100 %. Sa portée reste centrée sur le suivi d’instructions en anglais et sur l’Exact Match, plutôt que sur une évaluation générale des capacités. Enfin, le caractère public du jeu implique un risque de contamination par exposition préalable aux tâches, ce qui invite à interpréter les meilleurs scores avec prudence.

Sources des scores : benchable.