DirectIA

Explorer par catégorie

Image & Graphisme

Vidéo & Montage

Musique & Audio

Intelligence Artificielle pour le Texte

Marketing

Réseaux sociaux

Productivité

Code & Développement

Dernières publications

ZEROBench-Sub

ZEROBench-Sub est un sous-ensemble de ZEROBench consacré au raisonnement visuel particulièrement difficile. Conçu par les auteurs de ZeroBench, dont Jonathan Roberts et Mohammad Reza Taesiri à l’University of Cambridge, il cible des sous-questions qui demandent d’enchaîner plusieurs…

ZEROBench

ZEROBench est un benchmark de vision conçu par University of Cambridge et al. pour évaluer la compréhension visuelle en zero-shot sur des tâches particulièrement difficiles. Il cible des questions ouvertes ou numériques fondées sur des images, avec une exigence élevée en interprétation…

ZebraLogic

ZebraLogic est un benchmark d’évaluation du raisonnement logique des grands modèles de langage, construit autour de puzzles de grille logique dérivés de problèmes de satisfaction de contraintes. Publié en 2025 par Bill Yuchen Lin et al., dans des travaux associés à Allen Institute for AI…

WritingBench

WritingBench est un benchmark public consacré à l’évaluation des capacités de rédaction générative des grands modèles de langage. Publié en 2025 par Alibaba Group, via Tongyi Lab, avec des collaborateurs de Renmin University et SJTU, il couvre des tâches ouvertes de production de texte…

WMT24++

WMT24++ est un benchmark de traduction automatique multilingue créé par Google et Unbabel. Il étend WMT24 afin d’évaluer des systèmes de traduction et des grands modèles de langage dans des contextes linguistiques variés, avec des références humaines et des post-éditions.

WMT23

WMT23 est un benchmark issu de la Conference on Machine Translation, publié en 2023, consacré à l’évaluation de systèmes de traduction automatique. Il couvre plusieurs contextes d’usage, dont la traduction générale, biomédicale, littéraire et des langues peu dotées, afin d’observer la…

Winogrande

Winogrande est un benchmark en anglais consacré au raisonnement de sens commun et à la résolution de coréférence dans des phrases ambiguës. Créé par Allen Institute for AI (AI2), University of Washington et K. Sakaguchi et al., il prolonge l’esprit du Winograd Schema Challenge avec un…