LiveBench

LiveBench est un benchmark généraliste créé en 2024 par l’équipe LiveBench, réunissant notamment Abacus.AI, NYU et Colin White. Il évalue les modèles de langage sur des tâches de mathématiques, de code, de raisonnement, de langue, d’analyse de données et de suivi d’instructions.

Sa conception vise à limiter la contamination des jeux de test grâce à de nouvelles questions publiées chaque mois, issues de sources récentes. Les réponses ouvertes disposent d’une vérité-terrain objective et vérifiable, ce qui permet une correction automatique et une comparaison régulière des capacités des modèles.

Carte d'identité

Classement des modèles (38)

Classement établi sur 38 modèles évalués, dont 22 de grands éditeurs. Score médian de l'ensemble : 73,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur LiveBench traduit une forte exactitude moyenne face à des tâches ouvertes et variées, dans les six catégories couvertes. La correction automatique sur une vérité-terrain objective renforce la cohérence de l’évaluation. La fiabilité des résultats publiés dans cette base doit toutefois être nuancée, car ils sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un cadre unique.

La mise à jour mensuelle réduit le risque de contamination par des questions anciennes, sans faire de LiveBench une mesure exhaustive de l’intelligence d’un modèle. Sa portée reste celle d’un ensemble anglophone d’environ 18 tâches, dont la taille varie, centré sur des réponses objectivement vérifiables. Le classement montre un niveau globalement élevé parmi les 38 modèles recensés, avec une médiane de 74 %. o3-mini arrive en tête à 85 %, soit un écart de 11 points avec cette médiane. Ce plafond observé ne signale pas une saturation complète, puisqu’une marge demeure avant l’exactitude totale, mais les scores élevés imposent de considérer les écarts avec prudence, notamment en raison de leur mode de déclaration.

Sources des scores : llm-stats.