对于人工智能来说，从一张简单的图像创建逼真的三维模型仍然出奇地困难。

虽然AI能够生成令人惊艳的图像，但要生成工程师用来设计航空零件、汽车和消费产品的精确CAD代码，则要困难得多。哪怕一处微小差错，也可能使设计无法使用。

如今，来自麻省理工学院（MIT）、IBM和红帽（Red Hat）的研究人员开发出一个框架，显著提升了AI系统将二维图像转化为功能性CAD程序的能力，在产出更精确设计的同时，将推理计算量削减了约80%。

这项新的研究工作直面AI驱动工程设计中最大的障碍之一——高质量CAD训练数据的匮乏。现有的图像转CAD系统需要海量将二维图像与可运行CAD程序配对的样本，但创建此类数据集既昂贵又耗时。

不同于依赖更多人工创建的数据，这一新方法利用AI自身已犯的错误来教导它。“我们希望获得由模型自身来指导的数据增强，”该研究的第一作者、AI研究员Giorgio Giannone表示。

将失败的设计转化为训练材料
该团队的框架名为GIFT（Geometric Inference Feedback Tuning，几何推理反馈调优），可与视觉语言模型协同工作，后者将二维图像和文本描述转化为Python代码，并可在CAD软件中执行以生成三维物体。

为理解模型在何处遇到困难，GIFT让模型对同一道CAD问题并行求解多次。部分输出是正确的，部分接近目标设计，另一些则相差甚远。据研究人员称，这些“近失弹”最有价值，因为它们精确揭示了模型尚未理解的内容。

系统执行每个生成的CAD程序，并使用一项名为交并比（IoU）的标准工程指标，将生成的三维几何体与目标进行比较，该指标衡量两个三维形状的匹配程度。

GIFT并不丢弃不完美的输出，而是识别出那些接近正确的输出，并利用它们生成新的训练样本。

Giannone解释道：“如果我们对模型采样10次，它针对同一个问题生成了10个正确答案，那么它就没有太多可学的。我们关心的是那些中间情况，即模型可能只有一半时候能解决问题。”

教会模型如何修正自身错误
GIFT通过两种互补的技术来改善模型。第一种叫GIFT-REJECT，它保留那些生成了正确几何体、但代码与原始参考方案不同的替代CAD程序。

传统的AI训练通常假定每个物体只有一个正确的CAD程序，但实际上工程师可以用多种不同方式创建同一个零件。通过将模型暴露于多个有效方案，GIFT拓宽了其对CAD设计构建方式的理解。

第二种方法GIFT-FAIL聚焦于不完美的输出。系统取用AI生成的一个近乎正确的三维模型，将其重新转换为一张图像，并将该图像与正确的CAD程序配对。通过这样做，它创建了新的样本，有效教会模型如何从特定错误中恢复。

更重要的是，这一过程无需任何人工干预。框架自动识别错误、创建新的训练数据，并利用这些信息改进模型。

研究人员还围绕一项名为“推理时扩展”的技术来设计GIFT。不同于重新训练整个AI模型（成本可能极其高昂），该系统在生成阶段提升性能。

GIFT并不丢弃为搜索更好CAD程序而花费的额外计算量，而是将成功和接近成功的尝试转化为新的训练样本，这些样本随后可用于通过微调来改进模型。

此外，用户可以根据预算和时间限制，自行决定投入多少计算量。

以极少的算力实现更优的CAD设计
在GenCAD-Code数据集上进行评估时，经GIFT增强的模型在几何精度上相较于一个强大的监督学习基线提升了12%。

该框架还将达到同等性能所需的推理计算量减少了约80%。

“通过GIFT，我们从几何入手，因为在工程问题中，如果三维形状的几何不正确，其他一切都将无从谈起，但还有许多其他方面需要考虑，”Giannone表示。

该系统从自身错误中学习的能力，有望通过让AI生成的CAD模型更可靠来加速产品开发。

工程师可以更快地从草图推进到可测试的三维设计，降低开发成本，缩短设计周期，并在无需创建大量新训练数据的情况下探索更广泛的设计方案。

研究人员表示这仅仅是个开始。目前GIFT专注于生成正确的几何形状，但未来版本将致力于教会AI设计不仅形状精确，而且更易于制造、更符合真实世界性能要求的零件。

该研究发表于arXiv。