Humanity's Last Exam

Humanity's Last Exam est un benchmark académique multimodal créé en 2025 par le Center for AI Safety (CAIS) et Scale AI. Il confronte les modèles à des questions expertes en mathématiques, sciences naturelles et sciences humaines, avec des solutions conçues pour être vérifiables et sans ambiguïté.

Ses questions ouvertes à réponse courte et ses QCM évaluent notamment le raisonnement, la maîtrise de connaissances situées aux frontières du savoir humain et l'interprétation visuelle. HLE sert ainsi à comparer les capacités de modèles avancés sur un ensemble académique exigeant.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (89)

Classement établi sur 89 modèles évalués, dont 55 de grands éditeurs. Score médian de l'ensemble : 26,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Humanity's Last Exam indique qu'un modèle fournit davantage de réponses exactes à des problèmes académiques experts, y compris lorsque leur résolution combine connaissances spécialisées, raisonnement et interprétation visuelle. Dans la base, Claude Mythos Preview domine avec 65 %, contre une médiane de 25 % parmi 87 modèles. Cet écart révèle une forte différenciation des performances, tandis que le meilleur résultat reste éloigné d'une accuracy parfaite, ce qui ne suggère pas une saturation générale du benchmark.

La lecture du classement exige néanmoins de la prudence. Les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés selon une procédure indépendante commune, ce qui limite leur comparabilité. L'accès public peut aussi accroître le risque que les questions entrent dans les données ou pratiques d'entraînement, avec un possible effet de contamination sur les résultats. Enfin, la portée de HLE reste celle de questions académiques en anglais, principalement ouvertes à réponse courte ou sous forme de QCM. Le classement renseigne donc sur cette capacité ciblée, et non sur l'ensemble des usages possibles d'un modèle.

Sources des scores : llm-stats.