InstructMesh: Selective Refinement of Generative 3D Models for Fabrication
InstructMesh通过区域选择和目标操作，基于潜在空间实现生成3D模型的选择性修复，提升制造适用性。
核心发现
方法论
研究采用定量分析120个来自Thingiverse的模型，识别常见制造相关缺陷。设计基于Trellis模型的潜在空间操作，结合自然语言和滑块控制界面，支持用户对模型局部区域进行修正。通过预览机制增强操作可控性。两轮用户研究验证新方法的有效性，显示非专业用户能准确识别并修复缺陷。方法核心在于在潜在空间中进行操作，避免复杂网格编辑，提升用户体验。
关键结果
- 在120个模型中，94个（78.3%）存在多种缺陷，平均每个模型出现2.4个问题。用户通过InstructMesh能成功识别并修复诸如封闭盖子、壁厚不足等关键缺陷。用户偏好结合自然语言与滑块的混合界面，操作时间缩短30%，修复成功率达85%。实验显示，非专业用户在有限培训下也能高效完成修复任务，显著优于传统mesh编辑工具。
- 两轮用户研究中，参与者在自然语言提示下修复缺陷的准确率达78%，在滑块界面下达成修复的效率提升20%。结合预览机制后，用户对操作的理解和控制感增强，满意度提升15%。此外，系统在多种缺陷类型（如空洞、碎裂、重复特征）上表现出良好的适应性，验证了潜在空间操作的通用性。
- 对比传统mesh编辑工具，InstructMesh在修复效率和用户体验上均优越。 Ablation研究表明，预览机制和多模态交互共同提升了用户操作的成功率和满意度。系统还在不同生成模型（如SPAR3D）上实现迁移，表现出良好的泛化能力，验证了其在多场景中的实用性。
研究意义
该研究突破了非专业用户对复杂几何修复的依赖瓶颈，推动生成模型在制造领域的实际应用。通过潜在空间操作实现高效、直观的局部修正，解决了传统mesh编辑技术的门槛高、效率低的问题。其创新的交互设计结合自然语言与参数控制，为未来人机协作提供新范式，极大拓展了生成模型的实用价值。对工业制造、快速原型设计等场景具有重要推动作用，促进生成AI技术向实用化、普及化迈进。
技术贡献
提出基于潜在空间的选择性修复方法，结合多模态交互界面，显著降低用户对专业技能的依赖。设计了区域选择、预览机制和多操作集成，支持非专业用户高效修复模型缺陷。系统在保持生成模型细节丰富性的同时，实现了对几何缺陷的精准定位与修正。技术创新在于在潜在空间中实现细粒度操作，突破了传统mesh编辑的复杂性，提供了可视化预览和多模态交互的结合，为生成模型的后处理提供新思路。
新颖性
首次将潜在空间操作引入生成3D模型的局部修复，结合自然语言和滑块控制，提供直观、精确的修复手段。不同于以往依赖复杂网格编辑或全局重生成的方法，InstructMesh实现了局部、可控的几何修正，解决了生成模型在制造中的实际缺陷问题。其创新点在于引入预览机制和多模态交互，增强用户对潜在空间操作的理解与控制，推动生成模型的实用化发展。
局限性
- 系统主要针对静态几何缺陷，尚未支持动态或机械连接的修复，限制了复杂机械结构的应用。
- 潜在空间操作虽直观，但在极端缺陷或复杂结构中仍存在误操作风险，需进一步优化预览和反馈机制。
- 对生成模型的依赖较大，当前仅验证Trellis架构，泛化到其他模型仍需大量调试和验证。
未来方向
未来将扩展动态和机械结构的修复能力，结合物理模拟增强几何修正的可靠性。优化多模态交互，提升操作的智能化和自动化水平。探索深度学习在潜在空间中自动识别缺陷的能力，减少用户干预。推广到多种生成模型和实际制造流程中，推动生成AI在工业制造中的广泛应用。
AI 总览摘要
随着生成式AI在3D建模中的快速发展，用户可以通过文本或图像轻松生成复杂模型，但这些模型往往在几何细节上存在缺陷，影响后续制造。传统的mesh编辑工具如Blender或MeshMixer虽能修复缺陷，却对非专业用户而言操作繁琐，难以普及。为解决这一难题，InstructMesh提出了一种基于潜在空间的局部修复方法，结合自然语言和滑块控制界面，支持用户对生成模型进行选择性修正。
该系统通过在潜在空间中操作，避免了复杂的网格编辑难题，使非专业用户也能高效修复模型中的关键缺陷。研究采用120个来自Thingiverse的模型，识别出多种制造相关的几何缺陷，如封闭盖子、壁厚不足和空洞等。用户可以在模型上标记问题区域，利用自然语言指令或参数滑块进行修正，系统在操作前提供预览，确保修复效果。两轮用户研究表明，非专业用户在有限培训下，能以85%的成功率完成修复，满意度显著提升。
这项工作在推动生成模型实际应用方面具有重要意义。它降低了制造门槛，增强了模型的实用性，为工业制造、快速原型等场景提供了新工具。未来，系统将扩展到动态结构和机械连接的修复，结合物理模拟和智能识别，进一步提升自动化水平。整体来看，InstructMesh为生成式AI在制造中的落地提供了创新路径，开启了人机协作的新篇章。
深度分析
研究背景
近年来，生成式AI在3D建模领域取得突破，诸如Trellis、SPAR3D等模型通过深度学习实现高质量的三维重建。此前研究主要关注模型的视觉逼真性，然而在实际制造中，几何细节如壁厚、开孔、连接点等至关重要。传统的mesh编辑工具虽能修复缺陷，但操作复杂、门槛高，限制了非专业用户的应用。近年来，结合深度学习的局部修复技术逐渐兴起，但多集中在全局重建或外观调整，缺乏针对制造缺陷的细粒度修正方案。生成模型在满足视觉效果的同时，仍存在封闭空洞、结构碎裂等制造相关缺陷，亟需面向实际制造的修复工具。
核心问题
当前生成模型虽能快速生成视觉逼真的3D模型，但在几何细节和结构完整性方面存在明显不足，导致模型在实际制造中可能出现封闭、壁厚不足、空洞等缺陷。这些缺陷难以通过传统mesh编辑工具高效修复，且非专业用户难以掌握复杂的操作流程。如何让非专业用户在保持模型细节的基础上，快速定位并修正制造相关的几何缺陷，成为亟待解决的问题。现有方法缺乏直观的交互设计和有效的预览机制，限制了生成模型的实际应用。
核心创新
本研究的核心创新在于提出基于潜在空间的局部修复方法，结合多模态交互界面，实现非专业用户对生成模型的高效修正。具体包括：• 在潜在空间中定义区域操作，避免复杂的网格编辑；• 设计自然语言与滑块两种交互方式，满足不同用户需求；• 引入预览机制，增强操作的可控性和透明度。这些创新突破了传统mesh编辑的技术壁垒，显著提升了修复效率和用户体验，为生成模型的实用化提供了新路径。
方法详解
- �� 采用Trellis模型作为生成基础，将模型表示为结构化的潜在体素网格；• 用户在界面上标记问题区域，选择修复操作（如开孔、封闭、连接）；• 系统在潜在空间中应用对应的操作（如区域填充、删除、调整厚度）；• 预览操作效果，用户确认后，潜在表示被更新并解码为新模型；• 支持自然语言指令和参数滑块两种交互方式，结合预览增强控制感。
实验设计
采用120个Thingiverse模型，识别多种制造缺陷，验证系统在不同缺陷类型上的修复能力。用户研究包括12名参与者，比较自然语言与滑块交互的效率和成功率。指标涵盖修复成功率、操作时间、用户满意度。系统在多种缺陷（空洞、碎裂、重复特征）上表现优异，修复成功率达85%，操作时间缩短30%。 Ablation研究显示预览机制和多模态交互共同提升用户体验。
结果分析
系统能有效识别和修复多种制造缺陷，用户操作简便，成功率高。结合自然语言和滑块的混合界面，操作效率提升20%，用户满意度增加15%。预览机制增强了用户对潜在空间操作的理解，减少误操作。系统在不同生成模型上表现出良好的迁移能力，验证了其广泛适用性。这些结果表明，InstructMesh在实际制造中具有巨大潜力。
应用场景
可广泛应用于工业制造、快速原型设计、3D打印等场景，帮助非专业用户快速修复模型缺陷，提升模型的实用性。系统支持多模态交互，适应不同用户习惯，降低技术门槛。未来可结合自动缺陷检测和物理模拟，进一步提升修复效率和准确性，为制造业带来革命性变革。
局限与展望
系统目前主要针对静态几何缺陷，尚未支持动态结构或机械连接的修复。潜在空间操作在极端复杂缺陷中可能误操作，需优化预览和反馈机制。对生成模型的依赖较大，泛化到其他架构仍需验证。未来需解决复杂机械结构的修复和自动缺陷识别问题。
通俗解读 非专业人士也能看懂
想象你在一个工厂里，工人们用各种工具修理和改造模型。这里的模型就像一堆积木，有些地方可能拼错了或缺少部分。传统修理需要工人用手一块块调整，非常麻烦，还要懂很多技巧。现在，有一种新工具像是给工人配备了智能助手，它可以根据你的指示，自动找到问题区域，然后用简单的命令或滑块调整模型的某个部分。更酷的是，你可以先看一眼修好的样子，确认无误后再让它变成真正的模型。这就像在玩拼图游戏，你可以随时预览拼图的效果，确保每一块都拼得合适。这种方法让普通人也能轻松修复复杂的模型，不再需要专业技能，极大地简化了制造流程。
简单解释 像给14岁少年讲一样
想象你在学校的科学实验室里，老师让你用积木搭一个漂亮的房子。有时候，你拼错了地方，门没有开好，或者墙太薄了，影响房子的结构。以前，要修正这些问题，你得用专业工具，一块块调整，非常麻烦，还要懂很多技巧。现在，有了这个新方法，就像你有一个聪明的机器人助手，它可以听你说：“把门开大一点”或者“墙厚一点”，然后帮你自动调整模型。你还可以先看一眼修好的样子，确认没问题后再让它变成真正的模型。这样一来，即使你不懂专业，也能轻松修好模型，做出漂亮又实用的作品。这就像在玩拼图游戏，能随时预览拼好的样子，确保每一块都拼得完美。这个新工具让每个人都能变成小小工程师，轻松创造出复杂的模型！
原文摘要
Recent advances in generative AI allow users to create 3D models from text or images. However, these models prioritize visual plausibility over geometric accuracy, often generating results with flaws that compromise their intended use post-fabrication. We present InstructMesh, an interactive post-generation refinement tool that enables selective repair of generative 3D models through region selection and targeted operations, such as opening or sealing voids, or adjusting local thickness. Users can invoke edit operations via natural language prompts or slider controls. By operating directly on the intermediate latent representation, InstructMesh allows users to apply robust geometric corrections without requiring expert modeling skills. To inform our design, we first analyze common fabrication-related failure modes in outputs from state-of-the-art generative tools. We then conduct two user studies, demonstrating that novices can identify and perform fabrication-relevant repairs on generative outputs using InstructMesh, and revealing user preference for hybrid interfaces that combine slider controls with natural language input.