TriviaQA

TriviaQA est un benchmark de compréhension de texte créé en 2017 par Mandar Joshi et des chercheurs de l’University of Washington. Il rassemble des questions de culture générale rédigées par des passionnés, associées à des réponses courtes et à des documents de preuve collectés indépendamment.

Le benchmark évalue la capacité d’un modèle à retrouver des informations pertinentes, à interpréter des formulations complexes et variables, puis à raisonner entre plusieurs phrases. Il sert ainsi à comparer les systèmes sur une tâche de question-réponse fondée sur des éléments textuels.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (18)

Classement établi sur 18 modèles évalués, dont 15 de grands éditeurs. Score médian de l'ensemble : 74,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur TriviaQA indique qu’un modèle restitue fréquemment la réponse attendue, selon l’exact match et le F1, à partir de questions ouvertes et de documents de preuve. Il traduit donc une bonne combinaison de compréhension, de recherche d’information et de raisonnement entre plusieurs phrases, dans le cadre précis de questions de culture générale en anglais.

La médiane de 75 % parmi les 18 modèles évalués témoigne de performances déjà élevées, sans saturation complète puisque le meilleur résultat, obtenu par Kimi K2 Base de Moonshot AI, atteint 85 %. Cet écart montre que le classement distingue encore les modèles les plus performants. Sa lecture exige néanmoins de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune. L’accès public au jeu impose aussi de considérer un possible effet de contamination lors de l’entraînement. Enfin, TriviaQA couvre une portée ciblée : il mesure la réponse courte documentée en anglais, et non l’ensemble des capacités générales d’un modèle.

Sources des scores : llm-stats.