Aider-Polyglot Edit est un benchmark de programmation multilingue créé en 2024 par Aider-AI, sous l’impulsion de Paul Gauthier. Il repose sur une sélection de problèmes difficiles issus d’Exercism et évalue la capacité des modèles à modifier correctement du code dans six langages.

Aider-Polyglot est un benchmark de programmation créé en 2024 par Aider, sous l’impulsion de Paul Gauthier. Il évalue des modèles d’IA sur des exercices difficiles issus d’Exercism, couvrant plusieurs langages de programmation.

Aider est un benchmark d’édition de code créé en 2023 par Aider-AI, sous l’impulsion de Paul Gauthier. Fondé sur des exercices issus du dépôt Python d’Exercism, il évalue la transformation de consignes de programmation en anglais en code Python exécutable.