General Knowledge (Baseline)

Benchable : General Knowledge (Baseline) est un benchmark créé par Benchable pour évaluer les connaissances générales des modèles d’IA. Il repose sur des questions à choix multiple en anglais, dont la difficulté progresse de sujets accessibles vers des connaissances très obscures.

Son périmètre couvre notamment l’histoire, les sciences, la géographie, les arts, la littérature, l’actualité et des domaines académiques spécialisés. Il sert de test de référence pour comparer la capacité des modèles à identifier précisément une réponse correcte parmi quatre options.

Carte d'identité

Classement des modèles (162)

Classement établi sur 162 modèles évalués, dont 69 de grands éditeurs. Score médian de l'ensemble : 99,0 %.

Notre analyse

Un score élevé indique qu’un modèle sélectionne très fréquemment l’option attendue dans ce format de QCM. La validation par Exact Match sur le champ JSON $.answer rend la notation stricte et reproductible, sans appréciation subjective de la formulation. Les scores étant au moins partiellement mesurés par un tiers, ils bénéficient d’une base de vérification externe plutôt que de reposer uniquement sur des déclarations des fournisseurs.

Le score médian de 99 % parmi 255 modèles et le résultat de 100 % obtenu par AionLabs: Aion-3.0 montrent toutefois une forte saturation. Le classement distingue donc difficilement les modèles les plus performants, quelques réponses seulement pouvant séparer des résultats presque identiques. Le caractère public du jeu invite aussi à considérer un risque de contamination lors de l’interprétation. Enfin, ce benchmark mesure avant tout la restitution de connaissances générales en anglais dans un cadre fermé à quatre choix. Un excellent résultat ne suffit donc pas à établir des performances équivalentes sur des tâches ouvertes ou sur d’autres capacités. Le classement révèle surtout une maîtrise désormais très élevée de ce format par une large partie des modèles évalués.

Sources des scores : benchable.