Instruction Following

MTEB: Instruction Following est un benchmark de recherche d’information conçu par les auteurs de FollowIR, Orion Weller et al., affiliés à Johns Hopkins University et à l’Allen Institute for AI. Il évalue la capacité des modèles à retrouver des documents pertinents lorsque des instructions détaillées en langage naturel accompagnent les requêtes.

Le benchmark mesure conjointement la qualité de recherche, le suivi de consignes précises et la compréhension d’instructions longues. Il permet ainsi de distinguer les modèles qui tiennent effectivement compte des contraintes formulées, au-delà de la seule correspondance entre une requête et des documents.

Carte d'identité

Classement des modèles (194)

Classement établi sur 194 modèles évalués, dont 14 de grands éditeurs. Score médian de l'ensemble : -1,3 %.

Notre analyse

Un score élevé indique qu’un modèle adapte mieux ses résultats aux instructions ajoutées aux requêtes. La p-MRR évalue ce suivi de manière pairwise, tandis que nDCG et MAP rendent compte de la qualité de recherche selon des métriques standard. Le classement révèle un niveau globalement faible et une nette marge de progression: la médiane est négative, tandis que jhu-clsp/FollowIR-7B atteint 12 %. Cet écart suggère que la prise en compte d’instructions détaillées reste discriminante, sans signe de saturation dans les scores rapportés.

La lecture du classement appelle toutefois à la prudence. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui offre une rigueur moins homogène qu’une évaluation entièrement mesurée par une procédure indépendante. L’accès public peut aussi exposer l’évaluation à un risque de contamination. Enfin, sa portée est circonscrite à la recherche d’information en anglais, à partir de trois collections TREC. Les résultats caractérisent donc cette aptitude précise et ne résument pas les capacités générales d’un modèle.

Sources des scores : mteb.