Hallusion Bench

Hallusion Bench est un benchmark public créé en 2023 par Tianyi Guan et ses coauteurs pour évaluer le raisonnement multimodal associant images et contexte textuel. Il confronte les grands modèles vision-langage à des questions en anglais appelant une réponse par oui ou non.

Son objectif est d’examiner la capacité des modèles à interpréter correctement une scène tout en résistant aux hallucinations linguistiques et aux illusions visuelles. Il sert ainsi à comparer leur robustesse lorsque les informations visuelles et textuelles peuvent favoriser une réponse erronée.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (16)

Classement établi sur 16 modèles évalués. Score médian de l'ensemble : 64,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Hallusion Bench correspond à une plus grande proportion de réponses exactes. Il traduit donc une meilleure aptitude à articuler image et contexte textuel, ainsi qu’à éviter les pièges liés aux hallucinations linguistiques et aux illusions visuelles. La comparaison doit toutefois rester prudente, car les résultats de la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante unique.

Parmi les 16 modèles évalués, le score médian atteint 65 %, tandis que Qwen3.5-27B arrive en tête à 70 %. Cet écart limité entre la médiane et le meilleur résultat suggère un classement relativement resserré, ce qui réduit la portée pratique de faibles différences de score et peut signaler un pouvoir de séparation modéré dans cette zone. L’accès public peut aussi exposer l’évaluation à un risque de contamination. Enfin, la portée du benchmark reste circonscrite au raisonnement image-texte en anglais, sous forme de questions oui/non. Il ne résume donc pas à lui seul l’ensemble des capacités d’un modèle multimodal.

Sources des scores : llm-stats.