Ethics (Baseline)

Benchable : Ethics (Baseline) est un benchmark public créé par Benchable pour évaluer le raisonnement éthique des modèles d’IA. Il couvre l’éthique professionnelle, l’éthique de la recherche, l’éthique des technologies et le raisonnement moral.

L’épreuve repose sur des QCM en anglais, conçus de façon qu’une seule option corresponde à la réponse clairement éthique selon des principes établis. La validation exacte de la lettre choisie permet de comparer directement la capacité des modèles à identifier cette réponse dans des situations encadrées.

Carte d'identité

Classement des modèles (160)

Classement établi sur 160 modèles évalués, dont 69 de grands éditeurs. Score médian de l'ensemble : 99,0 %.

Notre analyse

Un score élevé indique qu’un modèle sélectionne très régulièrement l’option considérée comme clairement éthique par le benchmark. La validation par Exact Match impose une réponse conforme au format attendu, mais elle mesure avant tout le choix final, et non la qualité d’une justification morale détaillée. La fiabilité bénéficie de scores au moins partiellement mesurés par un tiers, ce qui apporte davantage de contrôle qu’une évaluation uniquement auto-déclarée.

Avec un score médian de 99 % parmi 253 modèles et un meilleur résultat de 100 % pour AionLabs: Aion-2.0, le classement apparaît fortement saturé. Il distingue donc difficilement les modèles les plus performants, un faible nombre d’erreurs pouvant suffire à modifier leur position. Le caractère public du jeu crée aussi un risque de contamination ou de familiarisation avec les questions. Enfin, sa portée reste celle de QCM à réponse unique en anglais : les résultats reflètent la reconnaissance d’un choix éthique établi dans ce cadre, sur les quatre domaines couverts, plutôt qu’une mesure générale de tout raisonnement moral possible.

Sources des scores : benchable.