Hallucinations (Baseline)

Benchable : Hallucinations (Baseline) est un benchmark créé par Benchable pour évaluer l’humilité épistémique des modèles d’IA. Il vérifie leur capacité à reconnaître l’incertitude face à des concepts, événements ou entités entièrement fictifs, plutôt qu’à produire une réponse inventée.

L’épreuve repose sur des QCM en anglais dans lesquels « Je ne sais pas » constitue systématiquement la bonne réponse. Elle fournit ainsi un indicateur ciblé de résistance aux hallucinations, utile pour comparer la prudence des modèles lorsqu’une question repose sur de fausses prémisses.

Carte d'identité

Classement des modèles (147)

Classement établi sur 147 modèles évalués, dont 63 de grands éditeurs. Score médian de l'ensemble : 96,0 %.

Notre analyse

Un score élevé signifie que le modèle choisit fréquemment « Je ne sais pas » devant des informations totalement inventées. Un résultat de 100 % correspond à l’absence d’hallucination sur les 50 questions du jeu. La fiabilité bénéficie de scores au moins partiellement mesurés par un tiers, ce qui apporte davantage de rigueur qu’une évaluation reposant uniquement sur des résultats auto-déclarés.

Le score médian de 96 % parmi 235 modèles et le résultat parfait d’AionLabs: Aion-2.0 montrent une forte concentration près du plafond. Cette saturation réduit la capacité du benchmark à départager finement les meilleurs modèles. Son accès public peut aussi favoriser une exposition préalable aux questions, un facteur de contamination à considérer dans l’interprétation. Sa portée reste ciblée : il mesure une réaction à des prémisses entièrement fictives, en anglais, avec une réponse correcte toujours identique. Le classement révèle donc surtout la propension des modèles à exprimer leur incertitude dans ce cadre précis, plutôt qu’une mesure générale de leur exactitude factuelle.

Sources des scores : benchable.