TruthfulQA

TruthfulQA est un benchmark créé en 2021 par Stephanie Lin, Jacob Hilton et Owain Evans pour évaluer la véracité des réponses produites par les modèles de langage. Ses questions sont délibérément conçues pour susciter des erreurs inspirées d’idées reçues, de croyances fausses ou de conceptions erronées présentes dans les textes humains.

Le benchmark examine ainsi la capacité d’un modèle à éviter de reproduire ces affirmations trompeuses tout en fournissant une réponse informative. Ses questions courtes, ouvertes ou proposées sous forme de QCM, couvrent notamment la santé, le droit, la finance et la politique.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (18)

Classement établi sur 18 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 58,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur TruthfulQA indique qu’un modèle produit fréquemment des réponses à la fois véridiques et informatives face à des questions qui favorisent des réponses intuitives mais fausses. Il mesure donc une résistance ciblée aux croyances erronées apprises dans les textes humains, plutôt qu’une aptitude générale à répondre à toute catégorie de question. La portée reste délimitée par un jeu anglophone de 817 questions réparties entre 38 catégories et par des formats de réponse courte ou de QCM.

Dans la base, les scores sont majoritairement auto-déclarés par les éditeurs. Leur comparaison doit donc tenir compte d’une rigueur de mesure moins homogène qu’avec une évaluation entièrement conduite selon un protocole indépendant unique. L’accès public au jeu appelle également à considérer un risque de contamination lors de l’interprétation des résultats. Le classement montre néanmoins une différenciation nette entre le niveau médian de 58 % et MAI-Thinking-1, meilleur modèle recensé à 88 %. Cette marge jusqu’au score maximal possible suggère que le benchmark n’est pas saturé au sommet du classement observé.

Sources des scores : llm-stats.