Reasoning

LiveBench: Reasoning est la catégorie consacrée au raisonnement au sein de LiveBench, un benchmark pour grands modèles de langage créé par l’équipe LiveBench, réunissant notamment Abacus.AI et NYU. Renouvelé chaque mois afin de limiter la contamination, il repose sur des énigmes en anglais associées à une vérité-terrain objective.

Ce sous-ensemble mesure principalement le raisonnement logique et déductif, notamment la capacité à progresser étape par étape dans des tâches comme web_of_lies_v2. Les réponses ouvertes sont corrigées automatiquement, ce qui permet de comparer les modèles selon leur exactitude.

Carte d'identité

Classement des modèles (7)

Classement établi sur 7 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 80,1 %.

Notre analyse

Un score élevé indique qu’un modèle résout correctement une forte proportion d’énigmes logiques et produit les réponses attendues par la correction automatique. L’emploi d’une vérité-terrain objective apporte une mesure reproductible de l’exactitude, mais la fiabilité pratique du classement doit être nuancée puisque les scores recensés sont majoritairement auto-déclarés par les éditeurs, plutôt que mesurés de manière uniforme par une même entité indépendante.

Le renouvellement mensuel réduit le risque de contamination, sans élargir la portée du test au-delà de son domaine ciblé. LiveBench: Reasoning renseigne sur la déduction logique en anglais, et non sur l’ensemble des capacités d’un modèle. Le niveau médian de 82 % parmi les 26 modèles de la base, face aux 90 % de Claude Opus 4.8, suggère des performances déjà élevées et un écart limité au sommet. Cette concentration peut entraîner un effet de saturation, rendant les différences fines plus difficiles à interpréter. Le classement met néanmoins en évidence l’avantage du meilleur modèle sur cet ensemble précis de tâches objectives.

Sources des scores : livebench.