Multi-Challenge

Multi-Challenge est un benchmark créé en 2025 par l’équipe SEAL de Scale AI, au sein de Scale Labs. Il évalue les modèles dans des conversations réalistes et contextuellement complexes, portant notamment sur la planification de voyages, la documentation technique et la communication professionnelle.

Son objectif est de mesurer la capacité à maintenir des instructions, mémoriser et relier des informations antérieures, appliquer des modifications successives de manière fiable et éviter les contradictions. Il teste ainsi la continuité du raisonnement et du comportement au fil d’un dialogue.

Carte d'identité

Classement des modèles (28)

Classement établi sur 28 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 54,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle répond correctement au dernier message après plusieurs échanges, tout en conservant les consignes, les informations implicites et les versions successives du contenu. L’évaluation repose sur un LLM juge et produit une mesure d’exactitude. La comparaison doit toutefois rester prudente, car les scores de la base sont majoritairement auto-déclarés par les éditeurs, plutôt que mesurés dans un cadre unique par un tiers.

Avec une médiane de 54 % sur 28 modèles et un meilleur résultat de 78 % pour Nova 2 Pro d’Amazon, le classement fait apparaître des écarts substantiels et une marge de progression. Il ne semble donc pas saturé au sommet des résultats recensés. Sa portée reste ciblée sur des conversations en anglais limitées à dix tours et sur quatre dimensions de continuité conversationnelle. Comme pour tout benchmark publié, une éventuelle contamination des données d’évaluation pourrait réduire la valeur comparative des scores. Multi-Challenge renseigne donc spécifiquement sur la robustesse multi-tours, sans résumer à lui seul l’ensemble des capacités d’un modèle.

Sources des scores : llm-stats.