PhyEdit: Towards Real-World Object Manipulation via Physically-Grounded Image Editing
PhyEdit combines explicit geometric simulation with Diffusion Transformer to achieve high-precision 3D-aware image manipulation, outperforming existing methods with significant improvements in geometric accuracy and physical consistency.
Key Findings
Methodology
This paper introduces PhyEdit, a diffusion-based image editing framework integrating explicit 3D geometric priors. It employs a plug-and-play 3D transformation module that predicts depth and camera pose to perform spatial object manipulations. The core engine is a modified Diffusion Transformer (DiT) conditioned on multi-modal inputs, including text, depth, and geometric previews. The training involves joint supervision in both 2D latent space and 3D depth space, with a focus on physical plausibility. The geometric preview, generated via the 3D transformation module, guides the diffusion process, enabling accurate multi-object and occlusion-aware manipulations in complex scenes.
Key Results
- On the newly proposed RealManip-40K dataset, PhyEdit achieves a Chamfer distance of 18.93, outperforming Nano Banana Pro's 25.33 by 6.4 points. The depth error (AbsRel) drops to 0.4953, and the DIoU score reaches 65.33, surpassing all baselines including commercial closed-source models. In ManipEval, it demonstrates superior spatial control, geometric accuracy, and scene consistency, validating its effectiveness in real-world scenarios.
- The model's joint 2D-3D supervision significantly improves spatial transformation accuracy, especially in multi-object and occlusion scenarios. Ablation studies confirm that depth supervision and geometric previews are critical for precise spatial control, leading to better generalization across diverse complex scenes.
- Compared to existing methods, including recent state-of-the-art 3D-aware models, PhyEdit shows marked improvements in geometric metrics, with consistent performance across single and multiple object manipulations, indicating robustness and practical applicability.
Significance
This work addresses longstanding challenges in physically consistent object manipulation within image editing, bridging the gap between 2D generative models and real-world 3D spatial understanding. By integrating explicit geometric priors and high-quality real-world data, it advances the state-of-the-art in scene-aware editing, with broad implications for virtual reality, robotics, and digital content creation. The proposed benchmark and dataset set new standards for evaluating spatial control and physical plausibility, fostering further research in physically grounded image synthesis. The framework's ability to handle complex multi-object scenes and occlusions marks a significant step toward realistic scene editing and interactive environment modeling, promising transformative impacts across multiple industries.
Technical Contribution
The key technical innovations include: • Incorporation of a plug-and-play 3D transformation module that predicts depth and camera pose, enabling explicit geometric control within the diffusion process; • Development of a joint 2D-3D supervision strategy, combining depth loss (SILog) and latent flow-matching, to enforce physical and geometric consistency; • Construction of RealManip-40K, a large-scale real-world dataset with paired images, depth maps, and object annotations, tailored for 3D-aware manipulation tasks; • Introduction of ManipEval, a comprehensive benchmark with multi-dimensional metrics for spatial control, geometric accuracy, and scene realism. These innovations collectively enable precise, physically plausible manipulations in complex scenes, outperforming existing methods.
Novelty
This research is the first to systematically integrate explicit geometric simulation with diffusion-based image editing, achieving physically grounded 3D-aware manipulations. Unlike prior works relying solely on latent space transformations or 2D optimization, PhyEdit employs a geometric preview and depth supervision to ensure accurate spatial control. Its multi-modal conditioning and high-quality dataset further distinguish it from existing approaches, filling a critical gap in real-world scene editing. The combination of explicit geometry, joint supervision, and a dedicated benchmark represents a significant leap forward in the field, enabling more realistic and controllable scene manipulations.
Limitations
- 依赖高质量深度估计，复杂场景中的遮挡和非刚性变形仍影响操控精度，模型在动态环境中的表现有待提升。
- 训练成本较高，推理速度尚需优化以满足实时交互需求，尤其在多目标、多遮挡场景中。
- 目前主要在静态场景验证，动态场景和多类别对象的泛化能力仍需增强，未来需结合多模态信息和动态建模技术。
Future Work
未来将结合更先进的深度感知和动态场景建模技术，提升模型在复杂环境中的实时性和鲁棒性。计划引入多模态信息（如光照、材质）以增强物理一致性，推动动态、多目标场景的空间操控。还将优化模型结构，降低计算成本，扩展到更大规模、多类别、多场景的应用中，实现虚拟环境的高精度交互和真实感增强。
AI Executive Summary
Accurate spatial object manipulation在虚拟现实、增强现实和机器人引导等领域具有重要应用价值。传统模型多局限于二维平面，难以实现真实世界中的尺度、位置和深度变化，导致操控结果缺乏物理合理性。本文提出的PhyEdit框架融合显式几何模拟和深度学习技术，突破了这一瓶颈。
该方法基于Diffusion Transformer（DiT），结合可插拔的3D几何先验，通过深度和相机参数实现目标对象的空间变换。训练过程中引入联合2D-3D监督机制，确保变换符合物理规律，特别是在多目标、多遮挡场景中表现出优异的空间控制能力。作者还构建了RealManip-40K数据集，涵盖真实场景中的深度信息和复杂交互，为模型训练提供了丰富的资源。
在ManipEval基准测试中，PhyEdit在几何准确性、空间控制和场景一致性方面优于所有对比模型，包括商业闭源系统。实验结果显示，其Chamfer距离、深度误差和空间位置控制指标均显著优于现有方法，验证了其在真实场景中的实用性和优越性。这一突破性工作不仅推动了图像编辑技术的物理真实性，也为机器人视觉、虚拟现实等行业提供了新的技术路径。
未来，结合更复杂的动态场景、多模态信息和实时优化，PhyEdit有望实现更高效、更逼真的空间对象操控，开启虚拟与现实融合的新纪元。
Deep Analysis
Background
随着深度学习和生成模型的发展，图像编辑逐渐从像素级操作向空间几何理解转变。早期方法如GAN-based编辑主要关注二维内容变换，但难以保证尺度、位置和深度的物理一致性。近年来，NeRF、多视角几何重建等技术提供了空间理解基础，但在复杂场景、多目标交互中仍存在不足。现有数据集多偏重二维变化，缺乏真实场景深度信息，限制模型泛化能力。行业内缺乏统一的空间控制评估标准，难以系统衡量几何和物理的合理性。本文在此基础上，提出结合显式几何模拟的深度学习框架，旨在突破这些瓶颈，推动空间感知图像编辑的实际应用。
Core Problem
现有图像编辑模型在空间几何控制方面存在明显不足，主要原因是缺乏显式的几何和物理机制，导致尺度、位置和深度变化不符合实际物理规律。这限制了模型在真实场景中的应用，尤其在机器人引导、虚拟试衣、增强现实等场景中，用户期望的精确空间操控难以实现。传统方法多依赖潜空间变换或二维像素操作，缺乏对尺度和位置的物理约束，导致变换结果不自然、不真实。缺少高质量的真实场景数据和统一评估指标，也阻碍了技术的进一步发展。因此，亟需引入显式几何模拟和深度监督，提升模型在复杂场景中的空间变换能力。
Innovation
本文的创新点包括：• 引入可插拔的几何先验，将深度和相机参数融入Diffusion Transformer，增强空间变换的物理感知；• 设计联合2D-3D监督机制，通过深度误差（SILog）和几何预览，提升空间位置和尺度的准确性；• 构建RealManip-40K高质量真实场景数据集，涵盖多目标、多遮挡和深度变化，提供丰富的训练和评估资源；• 提出ManipEval多维评估指标，系统衡量空间控制、几何一致性和场景真实性。这些创新共同实现了具有物理真实性和空间精度的图像操控，优于现有方法。
Methodology
- �� 输入：源图像、目标空间变换指令、目标对象掩码和深度信息；• 3D变换模块：利用深度和相机参数，预测目标对象的空间位置、旋转和缩放参数，生成空间变换的几何预览；• 生成预览：将变换后的空间位置投影回二维，形成几何引导图像；• DiT编辑引擎：结合多模态条件（文本、深度、几何预览）进行图像生成，支持多目标、多遮挡场景；• 联合监督：在潜空间和深度空间同时优化，利用深度误差（SILog）和潜流匹配损失，确保变换符合物理规律；• 训练：在RealManip-40K数据集上，采用AdamW优化，结合深度和几何预览进行多目标训练，提升空间变换的准确性。
Experiments
- �� 数据：构建RealManip-40K，包含多场景、多目标、多遮挡的真实场景图像对，配备深度和空间标签；• 评估指标：包括2D空间准确性（DIoU、Mask IoU）、深度误差（AbsRel、SILog）、3D几何误差（Chamfer距离、质心距离）以及场景一致性（Phys-VLM）；• 对比模型：包括传统2D编辑模型、3D感知模型和商业闭源系统；• 实验设置：在不同场景下进行单目标和多目标操控测试，验证模型在尺度、位置和深度变化中的表现。
Results
- �� 在ManipEval中，PhyEdit在Chamfer距离上达18.93，优于Nano Banana Pro的25.33，提升显著；• 深度误差（AbsRel）降低至0.4953，几何控制精度优于对比模型；• 多目标场景中，Chamfer距离和空间控制指标持续优越，验证模型在复杂场景中的适应性；• Ablation研究显示，深度监督和几何预览的加入显著提升空间变换的精确性和稳定性。
Applications
- �� 机器人引导：实现精确的空间对象操控，提高自主导航和抓取的准确性；• 虚拟现实：增强虚拟场景中的空间交互体验，提升沉浸感；• 影视制作：实现复杂场景中的物理一致性编辑，降低后期成本。未来还可结合实时深度估计，推动动态场景中的空间操控。
Limitations & Outlook
- �� 依赖高质量深度估计，复杂场景中的遮挡和非刚性变形仍存在挑战；• 训练成本高，模型推理速度需优化以满足实时交互需求；• 当前主要在静态场景验证，动态环境和多类别对象的泛化能力有待提升。
Plain Language Accessible to non-experts
想象你在厨房里做饭，要把不同的食材放到正确的位置。传统的工具只能帮你把食材放在平面上，比如把蔬菜放到盘子里，但不能保证它们在空间中的真实位置，比如深度、大小和距离。现在，有了新技术，就像给你一套智能厨具，不仅知道每个食材的具体位置，还能帮你把它们放到厨房的不同高度、不同距离，甚至模拟出它们的真实大小。这个技术结合了“看得见的深度”和“空间的几何”，让你像厨师一样，精准地操控每个食材在空间中的位置。它还能处理多个食材同时移动，确保它们不会碰撞或变形。这样一来，无论是在虚拟场景还是实际操作中，都能实现非常自然、真实的空间调控，就像用魔法一样。
ELI14 Explained like you're 14
想象你在玩一个超级厉害的游戏，你可以随意移动里面的东西，比如把玩具车推到不同的地方，甚至让它变大或变小。以前的游戏只能让你在屏幕上简单地拖动东西，但不能让它们看起来像在真实世界中那样变化，比如远近、大小都符合物理规律。现在，有一种新技术，就像给游戏加入了“3D魔法”，它能理解每个物体在空间中的位置和大小，确保你移动的东西看起来真实自然。比如你推一辆车，它会变得更远或更近，大小也会相应变化，像在真实世界一样。这个技术还可以同时操控多个物体，不会让它们互相碰撞或变形。它的秘密在于：它不仅看见了图片，还知道每个物体在空间中的深度和位置，就像你用眼睛看得很清楚一样。这样一来，无论是在虚拟世界还是现实中，操控东西都变得非常自然、真实，像魔法一样酷！
Glossary
Diffusion Transformer (扩散变换器)
一种基于扩散模型的深度学习架构，用于多模态图像生成和编辑，支持复杂条件输入。
在本文中，作为图像编辑的核心引擎，结合多模态条件实现空间变换。
3D foundation model (3D基础模型)
多视角场景几何和相机参数预测模型，能从多张图片共同推断场景深度和空间结构。
用于生成深度图和空间参数，支持目标对象的空间变换。
ManipEval (操控评估基准)
专门设计的多维指标体系，用于评估图像空间操控的几何精度和场景一致性。
用于量化模型在真实场景中空间变换的准确性。
RealManip-40K (真实操控数据集)
包含真实场景中对象空间变换的图像对，配备深度和空间标签，用于训练和评估。
为模型提供高质量的空间操控训练数据。
Open Questions Unanswered questions from this research
- 1 如何进一步提升模型在动态场景中的实时响应能力，尤其在遮挡和非刚性变形条件下的空间控制精度。
- 2 多目标、多类别复杂场景的泛化能力仍需增强，尤其在多模态信息融合方面的研究不足。
- 3 深度估计的准确性直接影响空间变换效果，未来需结合更先进的深度感知技术。
Applications
Immediate Applications
虚拟场景编辑
可用于虚拟现实、游戏开发中，实现真实感空间操控，提升用户沉浸体验。
机器人视觉引导
帮助机器人实现精确空间操作，提升自主导航和物体抓取的准确性。
Long-term Vision
虚拟试衣与设计
未来可在服装、家具设计中实现真实空间模拟，降低试错成本。
Abstract
Achieving physically accurate object manipulation in image editing is essential for its potential applications in interactive world models. However, existing visual generative models often fail at precise spatial manipulation, resulting in incorrect scaling and positioning of objects. This limitation primarily stems from the lack of explicit mechanisms to incorporate 3D geometry and perspective projection. To achieve accurate manipulation, we develop PhyEdit, an image editing framework that leverages explicit geometric simulation as contextual 3D-aware visual guidance. By combining this plug-and-play 3D prior with joint 2D--3D supervision, our method effectively improves physical accuracy and manipulation consistency. To support this method and evaluate performance, we present a real-world dataset, RealManip-40K, for 3D-aware object manipulation featuring paired images and depth annotations. We also propose ManipEval, a benchmark with multi-dimensional metrics to evaluate 3D spatial control and geometric consistency. Extensive experiments show that our approach outperforms existing methods, including strong closed-source models, in both 3D geometric accuracy and manipulation consistency.