SmartScripto Admin

BrowseComp

Créé par OpenAI en 2025, BrowseComp évalue la capacité d’agents IA à mener des recherches persistantes sur le web. Ses questions ouvertes exigent de naviguer entre plusieurs sources afin de retrouver des informations difficiles d’accès, imbriquées ou peu évidentes.

MathVista

MathVista est un benchmark créé par P. Lu et al. pour évaluer le raisonnement mathématique des modèles de fondation dans des contextes visuels. Il associe l’interprétation de figures, diagrammes, graphiques et images à des calculs ou à des inférences mathématiques.

SimpleQA

SimpleQA est un benchmark de factualité créé par OpenAI. Il évalue la capacité des grands modèles de langage à fournir des réponses courtes et exactes à des questions factuelles ouvertes, conçues pour admettre une réponse unique et incontestable.

MAEB Audio-Only

MTEB: MAEB Audio-Only est un benchmark public conçu par l’équipe MTEB dans le cadre du projet MAEB. Il évalue la qualité des embeddings audio appliqués à la parole, à la musique et aux sons environnementaux, notamment au moyen de tâches de classification, de clustering, de comparaison de…

MMMU-Pro

MMMU-Pro est un benchmark public conçu en 2024 par l’équipe MMMU, notamment Xiang Yue et Tianyu Zheng. Il évalue la compréhension et le raisonnement multimodaux dans plusieurs disciplines, à partir de contenus combinant texte et image.

AIME 2024

AIME 2024 est un benchmark issu de l’American Invitational Mathematics Examination, créé par la Mathematical Association of America dans le cadre des American Mathematics Competitions. Il réunit des problèmes exigeants provenant des compétitions AIME I et AIME II.

MMMLU

MMMLU est un benchmark multilingue créé par OpenAI en 2024. Adapté de MMLU, il réunit des questions traduites professionnellement afin d’évaluer des modèles dans plusieurs langues et dans un large éventail de matières.