Aider-Polyglot Edit

Aider-Polyglot Edit est un benchmark de programmation multilingue créé en 2024 par Aider-AI, sous l’impulsion de Paul Gauthier. Il repose sur une sélection de problèmes difficiles issus d’Exercism et évalue la capacité des modèles à modifier correctement du code dans six langages.

L’évaluation porte autant sur la résolution des exercices que sur le respect du format d’édition attendu. Chaque modèle dispose de deux tentatives et reçoit le retour des tests unitaires, ce qui permet aussi d’observer sa capacité à identifier puis corriger ses erreurs.

Carte d'identité

Classement des modèles (10)

Classement établi sur 10 modèles évalués, dont 10 de grands éditeurs. Score médian de l'ensemble : 54,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle résout fréquemment des problèmes difficiles en produisant des modifications de code correctement formatées, puis sait exploiter le retour des tests unitaires lors d’une seconde tentative. Le classement place DeepSeek-V3 nettement au-dessus de la médiane des dix modèles recensés. Son score de 80 % dépasse également la plage de 5 à 50 % initialement visée pour les meilleurs modèles, ce qui suggère que l’échelle peut déjà devenir moins discriminante à mesure que les performances progressent.

La lecture des écarts exige toutefois de la prudence, car les scores de la base sont majoritairement auto-déclarés par les éditeurs plutôt que produits dans un protocole de mesure entièrement centralisé. Le caractère public du benchmark et l’origine open source des exercices créent aussi un risque d’exposition préalable des modèles aux contenus. Enfin, sa portée reste ciblée sur l’édition de code et la résolution de problèmes Exercism en C++, Go, Java, JavaScript, Python et Rust. Il renseigne donc sur ces compétences précises, et non sur l’ensemble des aptitudes de programmation d’un modèle.

Sources des scores : llm-stats.