Aider-Polyglot est un benchmark de programmation créé par Aider, le projet de Paul Gauthier, pour évaluer des modèles d’IA sur des exercices Exercism exigeants. Il se concentre sur la génération de code, l’édition de fichiers et la correction d’erreurs à partir de retours de tests…

Aider est un benchmark d’édition de code créé par Aider-AI, sous l’impulsion de Paul Gauthier. Il évalue la capacité d’un modèle à transformer une consigne de programmation en langage naturel en code Python exécutable, puis à intégrer ce code dans une base existante.