Benchable : Reasoning (Baseline) est un benchmark public créé par Benchable pour évaluer le raisonnement complexe des modèles d’IA. Il s’appuie sur des questions ouvertes couvrant des énigmes logiques, des suites, des cryptarithmes, du raisonnement spatial et des tâches de déduction.

Benchable : Mathematics (Baseline) est un benchmark public conçu par Benchable pour évaluer les capacités mathématiques des modèles d’IA. Il couvre un spectre large, depuis l’arithmétique élémentaire jusqu’à des domaines avancés comme le calcul, l’algèbre linéaire, la topologie, la…

Benchable : Keyword Topic Relevance Classification est un benchmark textuel créé par Benchable. Il évalue la capacité d’un modèle à déterminer si un mot-clé est pertinent au regard d’un thème ou d’un sujet donné, dans un cadre de classification binaire.

Benchable : Instruction Following (Baseline) est un benchmark public créé par Benchable pour évaluer la capacité des modèles à suivre précisément des consignes. Il couvre des tâches en anglais dont la difficulté augmente progressivement, depuis des directives simples jusqu’à des…

Benchable : General Knowledge (Baseline) est un benchmark public conçu par Benchable pour évaluer la culture générale des modèles d’IA. Il repose sur des questions à choix multiples en anglais, couvrant un spectre large allant de l’histoire et des sciences à la géographie, aux arts, à la…

Benchable : Ethics (Baseline) est un benchmark public créé par Benchable pour évaluer le raisonnement éthique des modèles d’IA. Il se concentre sur des situations relevant notamment de l’éthique professionnelle, de l’éthique de la recherche, de l’éthique des technologies et du…

Benchable : Coding (Baseline) est un benchmark public créé par Benchable pour évaluer les connaissances en programmation des modèles d’IA. Il prend la forme de questions à choix multiples et couvre un spectre large, allant de la syntaxe de base aux algorithmes, structures de données,…