EditFlow3D: Automated Local Editing of 3D Assets with Trajectory Preservation

TL;DR

EditFlow3D实现了3D资产的自动局部编辑,同时保持轨迹一致性。

cs.CV 🔴 高级 2026-08-04 37 次浏览
Rui Nie Chuang Wang Haitao Zhou Jiahe Song Buyu Li Sheng Wang Qian Yu
3D编辑 轨迹保持 生成模型 视觉引导 自动化

核心发现

方法论

EditFlow3D是一种无需训练的3D局部编辑框架。它使用VLM驱动的工作流解释编辑意图,自动生成视觉引导图像和精细的3D编辑掩码。通过差分流引导和逐步轨迹保持,框架在预训练的3D生成模型的原生表示空间中实现局部编辑。

关键结果

  • EditFlow3D在EditFlow-Bench和Edit3D-Bench上表现出色,目标区域编辑更准确,非目标区域保持更好。
  • 在EditFlow-Bench上,EditFlow3D的PSNR达到36.53,SSIM为0.904,优于其他方法。
  • 消融实验显示,去除DFG或TPG会显著降低编辑精度和保持能力。

研究意义

EditFlow3D解决了现有方法在3D局部编辑中目标区域定位不准确和非目标区域保持不佳的问题。它在无需训练的情况下实现了高效的3D编辑,具有重要的学术和工业应用价值。

技术贡献

EditFlow3D提出了一种结合掩码引导差分流和逐步轨迹保持的新方法,显著提高了编辑精度和非目标区域的保持能力。该方法无需对中间特征进行直接替换,避免了边界伪影。

新颖性

EditFlow3D首次实现了在无需训练的情况下,通过VLM驱动的工作流和差分流引导实现的3D局部编辑。与现有方法相比,它在精度和保持能力上有显著提升。

局限性

  • 在复杂场景中,自动生成的3D掩码可能不够精确,影响编辑效果。
  • 对于非常细微的编辑需求,可能需要手动调整掩码。

未来方向

未来研究可以探索更精确的3D掩码生成方法,以及在更大规模数据集上的测试,以验证EditFlow3D的广泛适用性。

AI 总览摘要

EditFlow3D是一种创新的3D资产局部编辑框架,旨在解决现有方法在目标区域定位和非目标区域保持方面的不足。通过VLM驱动的工作流,EditFlow3D能够自动生成视觉引导图像和精细的3D编辑掩码,从而实现高精度的局部编辑。

该方法的核心技术包括掩码引导差分流和逐步轨迹保持。掩码引导差分流专注于目标区域的编辑,而逐步轨迹保持则在不直接替换中间特征的情况下,保持非目标区域与源资产的一致性。

实验结果表明,EditFlow3D在EditFlow-Bench和Edit3D-Bench上表现优异,目标区域编辑更准确,非目标区域保持更好。这一框架为3D资产的自动化编辑提供了新的可能性,并在学术和工业应用中具有重要意义。

深度解读

原文摘要

Controllable local editing of 3D assets requires precise target localization and appropriate visual guidance. However, existing methods lack a simple yet accurate way to obtain 3D masks and struggle to achieve the desired edit while faithfully preserving the structure and appearance of non-target regions. To address these challenges, we present EditFlow3D, a training-free framework for local 3D editing. Given a source asset and an edit instruction, a VLM-driven workflow interprets the editing intent and automatically constructs a visual guidance image and a refined 3D editing mask, enabling localized editing in the native representation space of a pretrained 3D generative model. Specifically, mask-guided differential flow focuses the edit on the target region, while step-wise trajectory preservation maintains consistency between non-target regions and the source asset without directly replacing intermediate features. Since the existing Edit3D-Bench covers only a limited range of local editing categories, we further introduce EditFlow-Bench as a complementary benchmark encompassing a broader variety of structural and appearance edits, and evaluate EditFlow3D on both benchmarks. Quantitative results, qualitative comparisons, and a user study demonstrate that EditFlow3D achieves more accurate target-region editing and better preserves non-target regions than existing 3D editing methods.

cs.CV