Video2DoorTraversal: Push Door Traversal via Simulated Door Twins
提出Video2DoorTraversal，从单一RGB视频重建门的实例对齐、可模拟的数字孪生，实现门的开关与穿越，成功率达96.57%。
核心发现
方法论
该方法通过DoorTwin利用单帧RGB视频进行门的几何和运动学重建，结合Articraft生成实例一致的门模型。随后，模拟环节中的专家轨迹生成器根据门的运动参数化策略，反复诊断和优化，获得可执行的示范轨迹。最后，ArticuACT利用深度感知和机器人中心的Plücker光线映射，预测协调的底盘、机械臂和夹爪控制指令，实现门的开关和穿越。系统全部运行在机器人自身的感知硬件上，确保闭环控制的实时性和鲁棒性。
关键结果
- 在五扇真实门上，系统成功率达96.57%，平均耗时13秒，显著优于传统方法的低成功率（如DoorGym的12.5%），且在未见过的结构相似门上实现80.95%的零样本成功率，展现出良好的泛化能力。
- 通过模拟验证，系统在不同门的尺寸、把手位置和开关力度变化下，仍保持较高的操作成功率，验证了策略的稳健性和适应性。
- 在全流程中，系统无需外部场景扫描或预先定义的门模型，完全依赖单一视频实现实例重建与操作，极大简化了部署流程。
研究意义
本研究突破了从单一视觉输入到复杂门控操作的技术瓶颈，为自主机器人在未知环境中的自主开门提供了新途径。相比传统基于预定义模型或手工标注的方法，该框架实现了端到端的感知、重建、策略学习与执行一体化，显著提升了自主操作的灵活性和适应性。其零样本泛化能力为未来无人环境中的自主导航和任务执行奠定基础，有望推动智能机器人在家庭、办公和公共场所的广泛应用。
技术贡献
提出DoorTwin实现单帧RGB视频的实例对齐和几何重建，结合Articraft的程序生成机制，显著提升了模型的实例一致性和几何准确性。引入模拟环节中的专家轨迹优化策略，通过反复诊断和模拟验证，确保策略的物理可行性。创新性地设计了基于机器人中心Plücker光线映射的深度感知条件化策略，增强了感知与控制的几何一致性。整个系统实现了端到端的闭环操作，从感知到策略执行全部在机器人硬件上完成，极大提高了实用性和鲁棒性。
新颖性
本工作首次实现了基于单一RGB视频的门的实例重建与模拟验证，结合深度感知和策略学习，完成从感知到操作的闭环流程。与以往仅在模拟环境或有限场景下的研究不同，此方法实现了完全自主的门控穿越，且无需外部场景扫描或预定义模型，展现出极强的泛化能力和实用潜力。
局限性
- 当前系统对门的复杂运动和非刚性变形适应有限，特别是在门存在大角度偏差或非线性运动时，重建和策略执行可能失效。
- 对门的几何和材质假设较为理想，复杂材质或反光区域可能影响深度估计和模型重建。
- 系统在极端环境条件（如强光、遮挡）下的鲁棒性仍需提升，未来需结合多模态感知增强性能。
未来方向
未来将结合多模态感知（如激光雷达、触觉传感）提升复杂场景下的鲁棒性，探索多门同时操作的策略扩展，以及引入学习型模型提升对非刚性和动态门的适应能力。此外，将优化算法效率，缩短操作时间，推动系统在实际家庭和工业环境中的落地应用。
AI 总览摘要
本研究提出了Video2DoorTraversal，一种基于单一RGB视频实现门的自主开关与穿越的端到端框架。该方法首先利用DoorTwin从视频中重建实例对齐、具有真实几何和外观的门的数字孪生，为后续操作提供精确的场景模型。接着，结合模拟环节中的专家轨迹生成器，通过反复诊断和优化，获得物理上可行的示范轨迹，确保策略的可靠性。最后，ArticuACT利用深度感知和机器人中心的Plücker光线映射，预测协调的底盘、机械臂和夹爪控制指令，实现门的开关和穿越全过程。系统全部在机器人硬件上运行，具备高度的自主性和鲁棒性。在五个真实门环境中，系统成功率达96.57%，平均耗时13秒，显著优于传统方法。更令人振奋的是，在未见过的结构相似门上，系统达到了80.95%的零样本成功率，展现出优异的泛化能力。这一突破极大推动了自主机器人在未知环境中的应用潜力，为未来智能家居、工业自动化等场景提供了新的解决方案。未来工作将集中在多模态感知融合、复杂场景适应和多门操作策略的扩展，推动技术的实际落地。
深度分析
研究背景
机器人自主开门任务是智能机器人研究中的重要方向。早期方法多依赖预定义模型或手工标注，难以应对环境变化。近年来，视觉感知、深度学习和仿真技术的发展推动了端到端自主操作系统的出现，如DoorGym和ArticuBot，主要解决门的机械结构理解和开关动作，但多局限于模拟环境或有限场景。真实环境中的复杂门结构、多样材质和动态变化仍是挑战。现有的Real-to-Sim方法如HUMAN2SIM2ROBOT和SIMPACT，虽能从视频或场景中提取信息，但多依赖场景扫描或外部输入，难以实现完全自主的端到端操作。本文在此基础上提出单视频重建门模型，结合模拟验证和深度感知，突破了单一视频到完整操作的技术瓶颈。
核心问题
自主门控穿越任务涉及长时程、多接触、多模态感知与控制的复杂协同。现有方法多依赖预定义模型或外部场景信息，缺乏端到端的感知-重建-操作闭环能力。如何从单一RGB视频中准确重建门的几何和运动状态，生成物理可行的操作策略，并实现在未知环境中的鲁棒执行，是亟待解决的问题。该任务的难点在于实例对齐、运动学建模、策略泛化和实时控制的集成，尤其在复杂环境和非刚性门结构下更具挑战。
核心创新
本研究的核心创新包括：1）DoorTwin利用单帧RGB视频实现门的实例对齐和几何重建，结合视频几何约束和程序生成，确保模型的实例一致性和几何准确性；2）引入模拟环节中的专家轨迹优化，通过反复诊断和验证，获得物理上可执行的示范，提升策略的可靠性；3）设计基于机器人中心Plücker光线映射的深度感知条件化策略，增强感知与控制的几何一致性；4）实现全流程在机器人硬件上的端到端闭环操作，从感知到策略执行无缝衔接，极大提升实用性。
方法详解
- �� 利用DAGE和LingBot-Depth从RGB视频中估算门的几何和相机运动；
- �� 通过SAM3分割门的完整结构，聚合多视角点云，建立全局尺度的门模型；
- �� 设计基于视频几何的约束，将门的尺寸和把手位置转化为结构化程序，生成实例一致的门模型；
- �� 采用参考视图渲染和视觉批评，确保模型与真实门的外观一致；
- �� 利用Tripo 3D合成纹理，完成外观迁移；
- �� 基于模拟仿真中的专家轨迹优化，生成参数化的门操作策略；
- �� 通过多场景随机化收集多样示范，用于策略训练；
- �� 构建ArticuACT深度感知策略，结合Plücker光线映射和交互状态预测，实现端到端控制。
实验设计
在五个真实门环境中采集RGB视频，生成门模型并进行模拟验证。比较多种基线方法（如DoorGym、Articulate-Anything等），采用成功率和时间作为主要指标。评估模型在不同门尺寸、把手位置和材质条件下的鲁棒性。通过大量随机化和扰动，验证策略的泛化能力和实际操作效果。实地测试中，系统在真实机器人上实现了96.57%的成功率，平均耗时13秒，优于所有对比方法。还进行了零样本泛化测试，成功率达80.95%，显示出良好的适应性。
结果分析
系统在真实环境中表现优异，成功率达96.57%，平均操作时间显著低于传统方法。在未见过的门结构上，零样本成功率达80.95%，验证了模型的泛化能力。模拟验证显示，策略在不同门尺寸和把手位置变化下，仍保持高成功率。通过实例重建的几何和外观与真实门高度一致，验证了DoorTwin的准确性。实验证明，端到端流程无需外部场景扫描，极大简化部署流程，具有广泛应用潜力。
应用场景
该技术适用于自主家庭服务机器人、工业自动化中的门控操作，以及应急救援场景中无人快速穿越门道。只需一段视频，即可实现门的自动重建与操作，降低部署门槛。未来可扩展到多门同时操作、复杂门结构和非刚性门的控制，为智能环境中的自主导航提供关键技术支持。
局限与展望
当前模型对非刚性门、复杂运动和反光材质的适应性有限，特别是在门存在大角度偏差或动态变形时，重建和策略执行可能失效。系统在极端环境（如强光、遮挡）下鲁棒性不足，未来需结合多模态感知和更强的模型泛化能力。计算成本较高，实时性有待提升，此外对多门同时操作的扩展仍需深入研究。
通俗解读 非专业人士也能看懂
想象你在家里看到一扇门，你想让机器人帮你开门。只要给它拍一段门的照片，它就能理解门的形状、把手的位置和运动方式，就像你用手机拍照后，手机能自动识别出门的轮廓和把手。然后，机器人会用它学到的技能，先靠近门，抓住把手，转动门把手，再推开门，最后穿过门洞。整个过程就像你用遥控器操作门一样，但它完全是自己看照片学习后，自己操作的。这个系统不用提前告诉它门的具体信息，只用一段视频，就能学会开门，像个聪明的小助手一样帮你完成任务。
简单解释 像给14岁少年讲一样
你有没有想过，未来的机器人可以自己看一扇门，然后学会怎么开它？就像你用手机拍一张门的照片，然后机器人就能理解门的样子和把手的位置。它会先走到门前，伸手抓住把手，转动一下，然后推开门，最后走过去。这就像你用遥控器开门一样，但机器人不用遥控器，只用它自己看视频学会了。这个系统特别厉害，因为它只需要一段视频，不需要提前告诉它门的具体信息，就能自己学会怎么开门。它还能在不同的门上都试试，表现都很好，就像一个聪明的小帮手一样。
原文摘要
Door opening and traversal is a long-horizon loco-manipulation task that requires precise handle interaction and coordinated base-arm control. We present Video2DoorTraversal, a single-video real-to-sim-to-real framework for wheel-legged mobile manipulators. Given one RGB video of a real door, DoorTwin reconstructs an instance-aligned, articulated, and simulation-ready door twin with realistic geometry and appearance. A simulation-in-the-loop agent converts the recovered articulation into a parameterized skill program and iteratively refines failed rollouts to generate physically executable demonstrations. These demonstrations are used to train ArticuACT, a dual-depth policy that predicts coordinated base, arm, and gripper commands using robot-centric camera conditioning and interaction-aware supervision. With all perception and policy inference running onboard, the system achieves a 96.57% average success rate across five real doors and an 80.95% zero-shot success rate on structurally similar unseen doors, while completing the full approach, opening, and traversal sequence in approximately 13s on average. Project Page: https://video2doortraversal.github.io/.