Codegolf v2.2

Codegolf v2.2 est un benchmark de code golf multimodal créé en 2025 par Andreas Ebner dans le cadre du projet ClawBattle / beowolve. Il demande aux modèles de reproduire une cible visuelle en générant le code HTML et CSS le plus court possible.

L’évaluation combine ainsi compréhension visuelle, génération de code et recherche de concision. Inspirée du principe de CSSBattle, elle sert à comparer la capacité des modèles à produire un rendu fidèle tout en minimisant la taille de leur solution.

Carte d'identité

Classement des modèles (4)

Classement établi sur 4 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 13,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé traduit un meilleur compromis entre brièveté du code et correspondance visuelle avec la cible. Il ne mesure donc pas seulement la validité d’une production HTML/CSS, mais aussi son efficacité au regard de l’objectif de code golf. La rigueur comparative doit toutefois être nuancée, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt qu’établis dans un cadre de mesure indépendant. L’accès public entraîne également un risque de contamination, les modèles ou leurs procédures d’évaluation pouvant être exposés aux contenus du benchmark. La portée reste ciblée sur la reproduction visuelle en HTML/CSS et ne représente pas l’ensemble des aptitudes de programmation. Avec une médiane de 14 % et un meilleur résultat de 17 %, aucune saturation nette n’apparaît dans les résultats recensés. Gemma 3n E4B Instructed occupe la première place, mais son avance de trois points sur la médiane reste contenue. Le classement ne porte en outre que sur quatre modèles, ce qui limite la portée des comparaisons entre familles de modèles.

Sources des scores : llm-stats.