Arko-T: A Foundation Model for Text-to-Structured 3D Generation

TL;DR

Arko-T为4B参数文本到结构化3D设计模型,能将自然语言直接映射为可编辑的CAD程序。

cs.LG 🔴 高级 2026-06-29 45 次浏览
Liang Wang Zhaoyang Xi Zekai Xiang Heng Meng Qishan Zhang Pingyi Zhou Jin Liu Litao Chen
3D生成 CAD 大规模语言模型 结构化设计 工程应用

核心发现

方法论

Arko-T采用基于Transformer的序列生成架构,结合设计状态的形式化定义,将自然语言输入映射到可执行的参数化CAD程序。模型在1.3百万构建程序数据上进行两阶段训练:预训练阶段吸收CAD相关语言知识,微调阶段利用执行引擎验证设计有效性。通过代码归一化,明确特征、参数、约束、构建历史和附件关系,确保输出既具几何准确性,又便于编辑。模型在多任务、多域数据中学习复杂机械特征的组合,强调设计意图的表达与保持。

关键结果

  • 在12项指标中,Arko-T在8项中排名第一,3项第二,平均成本仅为其他前沿模型的十分之一。在Chamfer Distance(CD)指标上,Arko-T在四个测试集均优于对比模型,CD值分别为2.46、2.33、4.92、5.02,显示其生成的几何形状与真实模型的接近度极高。
  • 在几何一致性指标IoU上,Arko-T在两个L2测试集达到0.801和0.780,略低于Gemini-3.5-flash的0.883,但在复杂多特征设计中表现优异。无效率方面,Arko-T在L1任务中仅为4.4%,显著优于其他模型,表明其生成程序的稳定性和可靠性。
  • 在推理速度和成本方面,Arko-T在本地GPU上每项仅需0.41秒,总成本约0.285美元,远低于API调用,显示其在工业级应用中的高效性和经济性。

研究意义

本研究突破了传统文本到3D模型的局限,将目标转向可编辑、参数化的设计实体,极大增强了工程师的设计效率和灵活性。通过对设计状态的形式化定义,模型不仅生成几何形状,更保留设计意图和构建逻辑,为工业制造、产品设计等领域提供了强有力的技术支撑。这一方法弥补了以往模型在特征表达和编辑能力上的不足,推动了从视觉逼真到结构化设计的转变。

技术贡献

Arko-T的核心技术创新在于引入设计状态的形式化定义,将特征、参数、约束、构建历史和附件关系系统化,确保模型输出具备可编辑性和几何一致性。结合代码归一化与执行引擎监督,模型在中等规模下实现了对复杂机械特征的高质量生成。其训练流程创新性地结合了大规模数据、执行验证和特征表达,显著提升了模型的结构理解能力。

新颖性

该工作首次将自然语言直接映射到结构化、可编辑的CAD设计状态,突破了以往仅关注几何外观或代码可执行性的局限。通过正式定义设计状态和引入归一化策略,模型实现了特征丰富、参数可调、构建逻辑清晰的设计生成,标志着文本到工程设计的重大创新。

局限性

  • 模型在处理复杂旋转、扫掠路径等操作时仍存在精度不足的问题,主要源于空间推理能力有限。
  • 对多零件装配和多模态输入(如草图、图片)支持尚未实现,限制了实际工程应用的广泛性。
  • 训练成本虽低于API调用,但大规模训练仍需大量GPU资源,限制了普及推广。

未来方向

未来将扩展多模态输入能力,结合草图、图片等信息增强设计表达;同时优化空间推理能力,提高复杂操作的准确性。还计划实现多零件装配和参数化编辑的端到端支持,推动模型在工业设计和制造中的实际应用。

AI 总览摘要

Arko-T代表了文本到结构化3D设计的最新进展,突破了传统模型仅能生成形状或代码的局限。通过正式定义设计状态,模型能够将自然语言直接转化为可编辑、参数化的CAD程序,极大提升了工程设计的效率与灵活性。该模型基于Transformer架构,结合特征、参数、约束、构建历史和附件关系的形式化表达,确保输出不仅几何准确,还具备良好的编辑性。

在大规模训练数据的支撑下,Arko-T在多项指标上优于七个前沿大模型,尤其在几何距离和有效率方面表现出色。其推理速度快、成本低,适合工业应用。实验还显示,模型能处理复杂、多特征设计,具备良好的泛化能力,甚至在训练分布之外的任务中表现出色。

这一技术突破不仅推动了工程设计自动化,还为未来多模态、端到端的智能设计系统奠定基础。尽管存在空间推理和多零件装配的挑战,Arko-T的成功展示了中等规模训练在结构化设计生成中的潜力,为工业界提供了实用的解决方案。

深度分析

研究背景

随着深度学习的发展,3D生成技术逐渐从纯视觉逼真向结构化设计转变。早期工作如DreamFusion和Magic3D主要关注外观渲染,缺乏参数化特征表达。CAD结构学习方面,ABC、DeepCAD等尝试将几何与构建历史结合,但多依赖静态数据,难以实现自然语言输入。文本到CAD代码的研究(如Text2CAD、CAD-Llama)强调代码的可执行性,但忽视了设计意图的表达和编辑能力。现有方法在几何逼真与结构化表达之间存在明显断层,限制了工业应用的推广。

核心问题

核心问题在于如何将自然语言准确映射到具有特征、参数、约束和构建历史的结构化CAD设计状态。现有模型多关注几何外观或代码可运行性,难以实现设计意图的完整表达和后续编辑。缺乏正式定义设计状态的框架,使得生成的程序难以保证几何准确性和可编辑性,限制了工程师的实际操作能力。这一瓶颈阻碍了文本驱动的自动化设计在工业中的落地。

核心创新

本研究提出了设计状态的形式化定义,将特征、参数、约束、构建历史和附件关系作为核心组成部分,确保模型输出具备完整的设计意图和可编辑性。引入代码归一化策略,标准化程序风格,强化模型对特征表达的学习能力。结合执行引擎的监督,模型在中等规模下实现了高质量、多特征的结构化设计生成。创新在于将自然语言直接映射到结构化设计状态,突破了以往仅关注几何或代码的限制,推动了工程设计自动化的边界。

方法详解

  • �� 输入:自然语言设计请求。
  • �� 预处理:将CAD数据转换为标准化的Build123d程序,提取特征、参数、约束、构建历史和附件关系。
  • �� 模型架构:基于Transformer的序列生成模型,结合设计状态的形式化定义。
  • �� 训练流程:
  • 预训练:在CAD相关文档和API描述上进行,吸收专业术语和设计逻辑。
  • 微调:在1.3M配对数据上进行,利用执行引擎验证程序有效性。
  • �� 生成:模型根据自然语言生成参数化CAD程序。
  • �� 执行:通过Build123d引擎运行程序,得到几何模型和设计参数。
  • �� 反馈:验证几何有效性,优化模型性能。

实验设计

使用Text2CAD-Bench基准,包含400+CAD提示,涵盖单零件和多零件设计。对比模型包括七个前沿大模型,指标包括无错误率、Chamfer Distance(CD)、Intersection over Union(IoU)等。模型在不同任务和复杂度下进行评估,参数设置为batch 256,训练一轮,利用GPU集群进行。还进行了消融实验,验证设计状态归一化的效果。

结果分析

Arko-T在所有测试指标中表现优异,CD值最低(2.46、2.33、4.92、5.02),IoU最高(0.801、0.780),无错误率最低(4.4%)。在推理速度上,每项仅需0.41秒,总成本极低(0.285美元),显示出极强的实用性。模型还能处理复杂多特征设计,具有良好的泛化能力,超越了大部分通用大模型的表现。

应用场景

可广泛应用于工业设计、快速原型制作、个性化定制等场景。只需输入自然语言描述,即可生成参数化、可编辑的CAD模型,极大缩短设计周期,降低成本。未来结合多模态输入,将支持更复杂的装配设计和多零件协同优化,推动智能制造的发展。

局限与展望

模型在处理复杂旋转和路径操作时仍存在精度不足的问题,空间推理能力有限。此外,目前仅支持单零件设计,不支持多零件装配和多模态输入。训练成本较高,未来需优化模型结构和推理效率,以满足工业级应用需求。

通俗解读 非专业人士也能看懂

想象你在厨房做饭,菜单上写着你要做一道菜。以前的AI就像只会帮你准备食材,告诉你怎么切菜,但不能帮你调味或摆盘。而Arko-T就像一个聪明的厨师,不仅知道怎么做出这道菜,还能根据你的描述,自动调配调料、摆盘,让菜看起来漂亮又好吃。它能理解你说的每一句话,把你的想法变成厨房里的具体步骤,最后做出一份完整的菜肴。这样,设计师只要用自然语言描述需求,Arko-T就能帮他们自动生成完整的、可调节的3D模型,节省了大量时间和精力。

简单解释 像给14岁少年讲一样

想象你在玩一个超级酷的积木游戏,你告诉它你想建一座桥,里面有很多不同的部分,比如支柱、桥面和栏杆。以前的程序就像只会拼简单的积木块,不能做出复杂的桥。而Arko-T就像一个聪明的搭建专家,它能听懂你说的话,把你的想法变成详细的拼装步骤,然后用积木搭出一座漂亮的桥。它不仅知道每个部分怎么拼,还能调整大小和形状,让你可以随时改变设计。这样,你只要用简单的话描述,Arko-T就能帮你变出一座完整、漂亮、可以自己调节的桥,超级酷!

术语表

Design State(设计状态)

一种正式定义的结构化描述,包括特征、参数、约束、构建历史和附件关系,代表一个完整的CAD设计。

论文中用来确保模型输出的设计具有可编辑性和几何一致性。

Build123d

一种参数化CAD建模工具,用于生成和验证设计程序。

模型训练和验证的执行环境。

Chamfer Distance(CD,切角距离)

衡量两个3D形状表面差异的指标,数值越小表示越接近。

用于评估生成模型的几何逼真度。

Intersection over Union(IoU,交并比)

衡量两个体积重叠程度的指标,值越高越好。

评估生成形状与真实模型的匹配程度。

Code Normalization(代码归一化)

将不同风格的CAD程序转换为标准格式,突出特征、参数和构建逻辑。

确保模型学习到的结构信息一致性。

开放问题 这项研究留下的未解疑问

  • 1 当前模型在复杂空间旋转和路径操作中的空间推理能力仍有限,未来需增强模型的空间理解和推理能力,以应对更复杂的设计任务。

应用场景

近期应用

工业设计自动化

利用Arko-T快速生成符合需求的参数化CAD模型,缩短设计周期,降低成本,适用于机械、电子等行业。

个性化产品定制

根据客户自然语言描述,自动生成定制化的3D模型,提升用户体验和生产效率。

远期愿景

智能制造与协同设计

结合多模态输入,实现多零件装配和多阶段优化,推动工业4.0的智能制造革命。

原文摘要

Text-to-3D systems can now synthesize a model from a single sentence, yet the result is a shape to render, not a design to edit. We present Arko-T, a 4B-parameter text-to-design model that maps natural-language intent directly into executable, parametric CAD programs. Rather than optimizing for code executability alone, Arko-T aligns every stage of the pipeline to a formal notion of design state, so that data curation, code normalization, and execution-grounded supervision all work to preserve the features, parameters, and construction logic that make a CAD artifact editable. Benchmarked against seven frontier LLMs across 12 metrics, Arko-T attains the best score on 8 and the second-best on 3 more, at roughly one-tenth the per-benchmark cost. The results suggest that targeted design-level training at moderate scale can match frontier general-purpose models on structured CAD generation.

cs.LG