Aider-Polyglot

Aider-Polyglot est un benchmark de programmation créé en 2024 par Aider, sous l’impulsion de Paul Gauthier. Il évalue des modèles d’IA sur des exercices difficiles issus d’Exercism, couvrant plusieurs langages de programmation.

Son protocole mesure à la fois la génération initiale de code et l’édition de fichiers après un échec. Chaque modèle peut effectuer un second essai à partir des erreurs remontées par les tests unitaires. Aider-Polyglot fournit ainsi une évaluation de bout en bout de la résolution de problèmes et de la correction de code.

Carte d'identité

Classement des modèles (22)

Classement établi sur 22 modèles évalués, dont 17 de grands éditeurs. Score médian de l'ensemble : 60,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle résout une grande part des exercices avec des tests passants, soit dès sa première proposition, soit après correction à partir du retour des tests. Le protocole est plus exigeant qu’une génération de code isolée, car il vérifie le résultat par des tests unitaires et évalue aussi la capacité d’édition. La comparaison doit néanmoins rester prudente, puisque les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans une campagne de mesure unique. Le caractère public du benchmark et l’origine Exercism de ses exercices créent également un risque de contamination. Sa portée reste centrée sur 225 exercices particulièrement difficiles et sur six langages, sans représenter toutes les formes de développement logiciel. Avec une médiane de 61 % parmi les 22 modèles évalués et un meilleur résultat de 88 % pour GPT-5, le classement met en évidence des écarts importants de maîtrise, tout en conservant une marge avant une éventuelle saturation complète du jeu.

Sources des scores : llm-stats.