Multi-IF

Multi-IF est un benchmark créé en 2024 par Meta GenAI pour évaluer la capacité des grands modèles de langage à suivre des instructions dans des dialogues multilingues à plusieurs tours. Il prolonge IFEval en ajoutant des séquences conversationnelles et des traductions de prompts anglais.

Son évaluation vérifiable porte sur le respect des consignes à chaque tour, notamment lorsque celles-ci imposent une sortie structurée. Multi-IF sert ainsi à mesurer la stabilité du suivi d’instructions au fil d’un échange et entre plusieurs langues.

Carte d'identité

Classement des modèles (20)

Classement établi sur 20 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 74,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle respecte avec exactitude les instructions vérifiables à chacun des trois tours, y compris dans un contexte multilingue et avec des contraintes de format. Cette mesure par tour permet de faire apparaître les pertes de précision à mesure que le dialogue avance. La comparaison doit néanmoins rester prudente, car les scores de la base sont majoritairement auto-déclarés par les éditeurs, plutôt qu’issus d’une procédure indépendante homogène.

Le meilleur résultat, 81 % pour Qwen3-235B-A22B-Thinking-2507, reste relativement proche de la médiane de 74 % observée parmi les 20 modèles évalués. Le classement ne suggère donc pas une saturation complète du benchmark et confirme une marge de progression dans le maintien des consignes. Sa portée reste centrée sur des instructions vérifiables, trois tours et huit langues issues d’un ensemble anglais traduit. Les résultats publiés montrent en outre des taux d’erreur plus élevés pour les langues utilisant des écritures non latines. L’accès public au jeu favorise la reproductibilité des évaluations, tout en imposant de considérer avec attention son exposition lors de futures comparaisons.

Sources des scores : llm-stats.