SmartScripto Admin

BIG-Bench Extra Hard

BIG-Bench Extra Hard est un benchmark créé par Google DeepMind pour évaluer le raisonnement général difficile et diversifié des modèles d’IA avancés. Il prolonge BIG-Bench Hard en remplaçant chacune de ses tâches par une variante nouvelle et nettement plus exigeante.

Tau2 Airline

Tau2 Airline est un benchmark publié en 2025 par Sierra Research pour évaluer des agents conversationnels dans des scénarios de service client aérien. Il repose sur des dialogues multi-tours où l’agent et l’utilisateur disposent chacun d’outils et doivent agir de manière coordonnée.

WMT24++

WMT24++ est un benchmark de traduction automatique multilingue créé par Google et Unbabel en 2025. Extension de WMT24, il évalue la capacité des systèmes de traduction et des grands modèles de langage à produire des traductions dans des contextes linguistiques variés.

IFBench

IFBench est un benchmark conçu par l’Allen Institute for AI (AI2) et l’University of Washington pour évaluer la capacité des modèles à suivre des instructions complexes. Il s’appuie sur des prompts en anglais issus d’un ensemble WildChat tenu à l’écart.

Image-Text, Multilingual

MTEB: Image-Text, Multilingual est un benchmark public consacré à la qualité des embeddings d’images et image-texte dans un contexte multilingue. Publié par MTEB / embeddings-benchmark et l’équipe MIEB de Chenghao Xiao, Isaac Chung et al., il étend l’évaluation anglophone MIEB à des jeux…

Image-Text, English

MTEB: Image-Text, English est un benchmark consacré à la qualité des embeddings d’images et d’ensembles image-texte en anglais. Il a été créé par MTEB / embeddings-benchmark, dans le cadre des travaux de l’équipe MIEB menée par Chenghao Xiao, Isaac Chung et leurs collaborateurs.

Image-Text, Lite

MTEB: Image-Text, Lite est un benchmark multilingue consacré à la qualité des embeddings d’images et de paires image-texte. Créé par MTEB / embeddings-benchmark avec l’équipe MIEB de Chenghao Xiao, Isaac Chung et leurs coauteurs, il reprend les types de tâches de MIEB(Multilingual) dans…