SmartScripto Admin

FrontierMath

FrontierMath est un benchmark créé en 2024 par Epoch AI pour évaluer le raisonnement mathématique avancé des modèles d’intelligence artificielle. Il réunit des problèmes originaux, particulièrement difficiles, conçus et vérifiés par des mathématiciens experts.

Image only

MTEB: Image only est un benchmark consacré à la qualité des embeddings purement visuels. Publié en 2025 par MTEB / embeddings-benchmark et l’équipe MIEB de Chenghao Xiao, Isaac Chung et leurs coauteurs, il repose sur un sous-ensemble de tâches MIEB ne nécessitant aucun encodeur de texte.

ARC-AGI v2

ARC-AGI v2 est un benchmark de raisonnement abstrait créé en 2025 par l’ARC Prize Foundation, notamment François Chollet, Mike Knoop et Gregory Kamradt. Il repose sur des grilles visuelles colorées dont il faut déduire la règle de transformation à partir de quelques paires entrée-sortie.

Arena Hard

Créé en 2024 par LMSYS / Chatbot Arena, Arena Hard est un benchmark public consacré aux modèles conversationnels instruction-tuned. Il rassemble des requêtes ouvertes difficiles issues de situations réelles, notamment en raisonnement, programmation, mathématiques, écriture et créativité.

Multi-Challenge

Multi-Challenge est un benchmark créé en 2025 par l’équipe SEAL de Scale AI, au sein de Scale Labs. Il évalue les modèles dans des conversations réalistes et contextuellement complexes, portant notamment sur la planification de voyages, la documentation technique et la communication…

MATH-500

MATH-500 est un sous-ensemble du jeu MATH consacré à 500 problèmes exigeants issus de compétitions mathématiques. Créé par OpenAI, dans les travaux de H. Lightman et al. à partir du corpus de D. Hendrycks et al., il couvre plusieurs niveaux de difficulté et sept domaines mathématiques.

FrontierMath-Tiers-1-3-v2-Private

Epoch: FrontierMath-Tiers-1-3-v2-Private est un benchmark créé par Epoch AI pour évaluer le raisonnement mathématique avancé, depuis le niveau du premier cycle universitaire jusqu’à des problèmes exploratoires de niveau doctoral.