IFEval

IFEval est un benchmark publié en 2023 par Google Research, dans les travaux de Zhou et al. Il évalue la capacité des grands modèles de langage à suivre précisément des instructions explicites au sein de tâches de génération de texte ouverte.

Son approche repose sur des contraintes automatiquement vérifiables, portant notamment sur le format, la longueur, le style ou le contenu. IFEval permet ainsi d’isoler une aptitude essentielle des modèles conversationnels : produire une réponse qui respecte effectivement la consigne, plutôt que seulement fournir un texte pertinent ou plausible.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (65)

Classement établi sur 65 modèles évalués, dont 28 de grands éditeurs. Score médian de l'ensemble : 87,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur IFEval indique qu’un modèle respecte fréquemment les contraintes explicites imposées, y compris lorsqu’un prompt en combine plusieurs. L’évaluation distingue le respect au niveau du prompt et de chaque instruction, avec des versions strict et loose. Cette méthode apporte une mesure structurée et automatiquement vérifiable, mais la fiabilité des résultats présentés doit être nuancée : ils sont majoritairement auto-déclarés par les éditeurs.

Le niveau médian de 87 % parmi les 65 modèles de la base, face à un meilleur score de 95 % pour Qwen3.5-27B, suggère une forte concentration vers le haut de l’échelle et donc un risque de saturation. Les écarts restants peuvent néanmoins refléter une meilleure régularité dans le suivi des consignes. L’accès public appelle aussi à considérer un risque de contamination lors de l’interprétation des performances. Enfin, la portée demeure ciblée : IFEval couvre des instructions vérifiables en anglais. Il mesure donc précisément le respect de contraintes formelles et textuelles, sans constituer une évaluation générale de toutes les capacités d’un modèle.

Sources des scores : llm-stats.