BenchCAD：工业级CAD自动化的新基准，揭示多模态大模型的真实能力边界

BenchCAD是面向工业CAD自动化的新基准，包含17900个经过执行验证的CadQuery程序，覆盖106种零件家族。测试显示当前前沿模型虽能恢复零件粗略几何外形，但在生成忠实参数化CAD程序方面仍有明显不足。

工业CAD代码生成要求模型理解三维结构、工程参数及制造约束，与简单3D形状识别本质不同。当前多模态大模型在通用视觉-语言任务表现出色，但缺乏真实工业CAD场景的系统评估，核心问题是能否生成可执行参数化程序而非仅描述性文本。

BenchCAD是统一工业CAD推理基准，核心特点包括：1.规模与多样性（17900个程序、106种零件家族）；2.执行验证（确保代码可执行并生成有效3D模型）；3.多维度评估（视觉问答、代码问答、图像到代码生成、指令引导代码编辑）。四大维度分别检验模型的几何理解、代码理解、图像转参数化代码及代码修改能力。

测试发现当前模型能恢复粗略几何形状，但生成忠实参数化程序表现不佳。典型失败模式：缺失精细3D结构（如孔洞、倒角）、误解工业设计参数（如模数、刚度系数）、简化操作模式（用草图拉伸替代扫掠等复杂操作）。微调可提升分布内表现，但泛化到未见过的零件家族仍困难。

BenchCAD使用CadQuery（基于Python的参数化CAD框架），其特点：参数化设计（可调参数生成变体）、特征树结构（操作按顺序执行）、工程语义（操作反映制造意图如拉伸对应铣削）。要求模型理解几何及工程制造语义。

启示包括：1.不能仅依赖通用MLLM，需领域特定数据、微调策略和验证机制；2.可执行性验证至关重要，需确保代码生成正确几何模型；3.工程语义理解是关键瓶颈，需注入更多领域知识。

BenchCAD的局限：仅支持CadQuery、简化制造约束、聚焦单个零件、未涉及实时交互设计。未来方向：扩展到其他CAD平台、考虑制造约束、支持装配体设计、实现实时交互验证。