BenchCAD

BenchCAD est un benchmark consacré au raisonnement en conception assistée par ordinateur programmatique. Il repose sur 17 900 programmes CadQuery vérifiés par exécution, couvrant 106 familles de pièces industrielles, dont environ la moitié s’appuie sur des tables de spécifications ISO, DIN, EN, ASME et IEC.

Il évalue conjointement le code, la vision, le multimodal et le reasoning au moyen de tâches appariées. Vision2Code demande notamment de produire du code CadQuery à partir de rendus multi-vues, puis compare la géométrie générée à la référence par voxel IoU.

Carte d'identité

Classement des modèles (4)

Classement établi sur 4 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 62,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique une bonne maîtrise des tâches de CAO couvertes. Pour Vision2Code, il correspond à une forte concordance volumique entre la pièce produite et la géométrie de référence. Les programmes vérifiés par exécution et l’usage de familles industrielles, souvent ancrées dans des normes, apportent une base d’évaluation structurée. La prudence reste toutefois nécessaire, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés indépendamment selon un protocole unique. Une exposition préalable aux programmes de référence pourrait aussi favoriser certains résultats, ce qui constitue un risque potentiel de contamination. Avec un meilleur score de 71 %, les résultats observés ne suggèrent pas une saturation complète. La portée demeure spécialisée dans la CAO programmatique et ne résume donc pas les capacités générales de code, de vision ou de reasoning. Sur les quatre modèles recensés, GPT-5.6 Sol occupe la première place et dépasse de huit points le score médian, ce qui révèle un avantage net sur cet ensemble restreint.

Sources des scores : llm-stats.