Include

Include est un benchmark conçu par Angelika Romanou et ses coauteurs à l’EPFL et chez Cohere For AI. Il évalue la compréhension multilingue des modèles à partir de questions issues d’examens locaux, ancrées dans des connaissances régionales et culturelles.

Son format en QCM permet de comparer la capacité des modèles à sélectionner une réponse correcte parmi plusieurs options dans des contextes linguistiques et géographiques variés. Include complète ainsi les évaluations généralistes en mettant l’accent sur des savoirs situés, au-delà des seuls contenus dominants à l’échelle internationale.

Carte d'identité

Classement des modèles (31)

Classement établi sur 31 modèles évalués, dont 5 de grands éditeurs. Score médian de l'ensemble : 75,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Include indique qu’un modèle répond correctement à une grande part des QCM couvrant diverses langues, écritures et réalités nationales. Il reflète donc une bonne compréhension multilingue associée à des connaissances régionales et culturelles, dans le cadre précis d’examens locaux. L’accuracy fournit une mesure simple et comparable, mais la fiabilité du classement doit être nuancée puisque les scores sont majoritairement auto-déclarés par les éditeurs, plutôt que mesurés selon un protocole indépendant commun.

La médiane de 76 % et le meilleur résultat, 88 % pour Claude Opus 4.8, montrent un avantage net du modèle de tête sans saturation complète du benchmark. Le classement de 31 modèles révèle ainsi des écarts encore visibles sur cette tâche. Sa portée reste toutefois circonscrite aux QCM et aux connaissances mobilisées par les examens retenus, sans représenter toutes les formes de raisonnement ou de production multilingue. Enfin, l’accès public au sous-ensemble d’évaluation impose de considérer le risque de contamination lors de l’interprétation des performances futures.

Sources des scores : llm-stats.