Language

LiveBench: Language est la catégorie consacrée à la compréhension du langage au sein de LiveBench, créé par l’équipe réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Publié en 2024, il mobilise notamment des articles et des synopsis récents.

Ses tâches évaluent la réorganisation de texte, la correction de fautes, la complétion de connexions et les déductions fondées sur des contenus récents. La notation automatique repose sur une vérité-terrain objective et vérifiable, afin de comparer les capacités linguistiques des modèles sans recourir à un juge LLM.

Carte d'identité

Classement des modèles (7)

Classement établi sur 7 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 78,1 %.

Notre analyse

Un score élevé indique une forte aptitude à résoudre les tâches de compréhension proposées, notamment restituer des connexions, corriger ou réorganiser du texte et déduire des informations à partir d’articles ou de synopsis. L’évaluation bénéficie d’un protocole automatique fondé sur des réponses vérifiables, ce qui limite la subjectivité d’un juge LLM. La lecture des résultats exige néanmoins de distinguer la méthode de notation de la provenance des scores, ceux de la base étant majoritairement auto-déclarés par les éditeurs.

Le classement place Claude Fable 5 en tête à 89 %, face à une médiane de 77 % parmi 26 modèles. Cet écart met en évidence une différenciation réelle, tout en montrant des performances globalement déjà élevées, susceptibles de réduire progressivement le pouvoir discriminant si les scores se rapprochent du plafond. Le recours à des sources récentes inscrit les tâches dans des contenus actuels, mais la contamination demeure un risque à surveiller lorsque ces contenus deviennent accessibles aux modèles. Enfin, la portée reste circonscrite à des tâches linguistiques en anglais, avec plusieurs tâches comportant chacune de 40 à 100 questions.

Sources des scores : livebench.