Benchable : Keyword Topic Relevance Classification est un benchmark textuel créé par Benchable. Il évalue la capacité d’un modèle d’IA à déterminer si un mot-clé est pertinent par rapport à un thème ou à un sujet donné.

Benchable : Hallucinations (Baseline) est un benchmark créé par Benchable pour évaluer l’humilité épistémique des modèles d’IA. Il vérifie leur capacité à reconnaître l’incertitude face à des concepts, événements ou entités entièrement fictifs, plutôt qu’à produire une réponse inventée.

Benchable : Reasoning (Baseline) est un benchmark public créé par Benchable pour évaluer le raisonnement complexe des modèles d’intelligence artificielle. Il s’appuie sur des questions ouvertes couvrant notamment la logique, la reconnaissance de motifs, l’inférence déductive, le…

Benchable : Mathematics (Baseline) est un benchmark public créé par Benchable pour évaluer les compétences mathématiques des modèles d’intelligence artificielle. Il couvre un spectre allant de l’arithmétique élémentaire au calcul, à l’algèbre linéaire, à la topologie et à la géométrie…

Benchable : Email Classification (Baseline) est un benchmark public créé par Benchable pour évaluer la classification automatique d’emails en anglais. Chaque cas demande d’attribuer un message à une seule catégorie parmi six types courants, couvrant notamment les communications…

Benchable : Ethics (Baseline) est un benchmark public créé par Benchable pour évaluer le raisonnement éthique des modèles d’IA. Il couvre l’éthique professionnelle, l’éthique de la recherche, l’éthique des technologies et le raisonnement moral.

Benchable : General Knowledge (Baseline) est un benchmark créé par Benchable pour évaluer les connaissances générales des modèles d’IA. Il repose sur des questions à choix multiple en anglais, dont la difficulté progresse de sujets accessibles vers des connaissances très obscures.

Benchable : Coding (Baseline) est un benchmark public créé par Benchable pour tester les connaissances générales en programmation. Il prend la forme de questions à choix multiple en anglais, avec six réponses possibles, et couvre plusieurs langages ainsi que différents niveaux de…

Benchable : Instruction Following (Baseline) est un benchmark public créé par Benchable pour évaluer la capacité des modèles d’IA à suivre précisément des consignes en anglais. Les tâches progressent de directives simples vers des instructions conditionnelles à plusieurs niveaux, pouvant…