LiveBench 20241125

LiveBench 20241125 est un benchmark public conçu par Abacus.AI, NYU et NVIDIA, avec Colin White, Samuel Dooley et leurs coauteurs. Il vise à limiter la contamination des jeux de test grâce à des questions renouvelées mensuellement, issues de sources récemment publiées.

Il évalue les modèles sur des tâches en anglais couvrant les mathématiques, le code, le raisonnement, le langage, le suivi d’instructions et l’analyse de données. Ses réponses à vérité-terrain objective permettent une notation automatique, destinée à comparer les capacités des modèles sans recourir à un juge LLM.

Carte d'identité

Classement des modèles (14)

Classement établi sur 14 modèles évalués. Score médian de l'ensemble : 73,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle fournit fréquemment la réponse vérifiable attendue sur les différentes catégories de LiveBench. La notation automatique, fondée sur une vérité-terrain objective et sans juge LLM, apporte une méthode cohérente et reproductible. La fiabilité pratique doit toutefois être nuancée, car les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés indépendamment.

Le renouvellement mensuel des questions réduit le risque de contamination par rapport à un jeu de test figé, sans transformer l’évaluation en mesure universelle. Le snapshot du 25 novembre 2024 porte sur des tâches en anglais et sur six familles de capacités précises. Il mesure donc la réussite à ces exercices vérifiables, et non l’ensemble des usages possibles d’un modèle.

Le classement place Qwen3 VL 235B A22B Thinking en tête à 80 %, contre une médiane de 73 % parmi les modèles évalués dans la base. Cet écart relativement resserré suggère une concentration des résultats et un risque de saturation partielle, susceptible de réduire le pouvoir discriminant entre les meilleurs modèles sur ce snapshot.

Sources des scores : llm-stats.