核心发现
方法论
STaR采用双NeRF模型，静态与动态场景分别编码，通过优化刚体运动参数ξ(t)实现多视角、多时刻的场景重建。利用体积渲染结合Lie群优化，自动分离静态背景与动态物体，支持新视角与运动轨迹的合成。训练过程中引入熵正则化与多层次采样，增强模型鲁棒性。核心在于联合优化两个NeRF及刚体参数，达到无监督的场景解耦。实验在合成及真实数据集上验证了其高质量的空间-时间新视图合成能力，且能实现未观察到轨迹的动画。
关键结果
- 在合成场景中，STaR在PSNR达32.95、SSIM达0.957、LPIPS仅为0.023，显著优于NeRF、NeRF-time和NeRF-W等基线，尤其在动态区域的重建质量上表现优异。
- 在真实场景中，STaR成功分离动态物体与背景，支持复杂运动的高保真渲染，且能实现未见轨迹的动画，展示了其在虚拟现实与增强现实中的潜力。
- 消融实验表明，模型的初始化、在线训练及熵正则化对性能提升至关重要，缺一不可。
研究意义
该研究突破了神经渲染在动态场景中的应用瓶颈，实现了无需标注的场景解耦与动画，极大推动了虚拟环境的自动化建模与交互能力。其创新的运动解耦机制为场景理解、虚拟试衣、增强现实等领域提供了新的技术基础，解决了以往模型在动态场景中预测能力不足的问题，为未来自主场景理解奠定基础。
技术贡献
提出双NeRF模型结合刚体运动参数的联合优化框架，首次实现无监督的动态场景重建与运动追踪。引入Lie群优化与熵正则化，有效缓解训练中的模糊与局部极值问题。模型支持新视角与轨迹动画，突破了传统NeRF静态限制，提供了场景解耦与编辑的新可能。
新颖性
首次实现纯自监督条件下，利用神经辐射场模型分离并重建动态场景中的刚体运动，突破了以往依赖标注或多模态输入的限制。创新在于引入刚体运动参数的优化与场景分解，支持复杂动态场景的高质量合成与动画，填补了神经渲染在动态场景理解中的空白。
局限性
- 目前仅支持单个刚体运动场景，复杂多物体交互尚未实现，场景解耦仍存在一定模糊。
- 模型训练时间较长（约55小时），对计算资源要求较高，限制了大规模应用。
- 对极端光照变化和非刚性变形的适应性不足，未来需引入更复杂的运动模型。
未来方向
未来将扩展多物体场景的解耦能力，结合非刚性变形模型，提升复杂场景的适应性。同时，优化训练效率，探索更高效的优化策略，推动实时场景理解与动画生成的实现。
AI 总览摘要
随着虚拟现实与增强现实技术的快速发展，场景的高质量重建与动态理解成为核心难题。传统方法多依赖大量标注或多模态信息，限制了场景的自动化与普适性。本文提出的STaR方法，通过自监督学习，利用神经辐射场模型实现动态场景中单一刚体的追踪与重建。该方法采用双NeRF架构，分别编码静态背景与动态物体，通过优化刚体运动参数ξ(t)，实现多视角、多时刻的场景解耦。训练过程中引入熵正则化与多层次采样，有效缓解训练中的模糊与局部极值问题。实验结果显示，STaR在合成与真实数据集上均能实现高保真空间-时间新视图合成，且支持未观察轨迹的动画，展现出极强的场景理解与编辑能力。这一技术突破为虚拟环境的自动建模、场景动画以及交互应用提供了新的可能。未来，研究将扩展多物体、多非刚性场景的解耦能力，提升模型效率，推动自主场景理解的广泛应用。
深度分析
研究背景
神经辐射场（NeRF）自2018年以来成为场景重建的主流技术，能从少量图像中实现高质量三维重建。早期工作如DeepSDF、Scene Representation Networks等，主要关注静态场景的表达。近年来，NeRF及其变体在静态场景中表现卓越，但在动态场景中仍面临挑战，尤其缺乏对运动的理解与分解。部分研究尝试引入时间维度或多模态信息，但多依赖人工标注或复杂输入。神经渲染在动态场景中的应用尚未成熟，限制了其在虚拟现实、动画等领域的推广。随着多视角视频的普及，如何实现无监督的动态场景理解成为研究热点。
核心问题
现有神经渲染方法多假设场景静止或只支持时间变化的全局模型，难以应对复杂动态场景中的物体运动。缺乏对场景中多物体、非刚性变形的解耦能力，导致渲染效果不真实，难以实现场景动画或交互。此外，手工标注昂贵，限制了大规模应用。如何在无需人工干预的情况下，自动分离静态背景与动态物体，准确追踪运动轨迹，成为核心难题。
核心创新
本研究提出双NeRF模型，分别编码静态背景与动态物体，结合刚体运动参数ξ(t)实现场景的动态解耦。创新点包括：• 引入Lie群优化，自动估计刚体运动；• 利用熵正则化增强训练稳定性；• 支持新视角与未观察轨迹的高质量动画；• 实现无监督的场景分解与重建，突破了以往依赖标注的限制。该框架极大提升了神经渲染在动态场景中的表现，为场景理解提供新思路。
方法详解
- �� 采用双NeRF架构，分别编码静态与动态场景，输入为空间坐标与视角，输出密度与辐射值；
- �� 通过优化刚体运动参数ξ(t)，实现动态物体在不同时间的空间变换；
- �� 利用体积渲染公式（如公式（2）-（4））结合变换，合成场景颜色；
- �� 引入熵正则化，控制透明度的模糊度与场景解耦；
- �� 使用Lie群优化，逐步调整ξ(t)，确保运动轨迹的连续性与准确性；
- �� 训练过程中，先进行静态NeRF初始化，再联合优化动态模型与运动参数；
- �� 支持在线训练，适应长视频序列，动态调整模型参数。
实验设计
在合成数据（如Blender生成的灯与桌面场景）及真实数据（移动香蕉）上进行验证。采用多视角视频，训练集包括16视角，测试单视角。指标包括PSNR、SSIM、LPIPS，比较NeRF、NeRF-time、NeRF-W等基线。通过消融实验验证初始化、在线训练与正则化的重要性。模型在空间-时间新视图合成中表现优异，尤其在动态区域重建方面明显优于对比方法。
结果分析
在合成场景中，PSNR达32.95，SSIM达0.957，LPIPS仅0.023，优于所有对比方法。真实场景中，模型成功分离背景与动态物体，支持复杂运动动画。消融分析显示，模型的初始化、在线训练和熵正则化对性能提升至关重要。模型还能生成未观察轨迹的逼真动画，展示了其在虚拟场景编辑中的潜力。
应用场景
该技术可应用于虚拟现实、增强现实、影视特效等领域，实现自动化场景建模、动态对象动画与交互。无需人工标注，适合大规模场景数据的处理，为虚拟环境的自动生成提供技术基础。未来可结合多物体、多非刚性变形场景，拓展到更复杂的应用场景。
局限与展望
目前仅支持单个刚体运动场景，复杂多物体交互和非刚性变形尚未实现。训练时间较长（约55小时），对计算资源要求较高。对极端光照变化和非刚性变形的适应性不足，未来需引入更复杂的运动模型与优化策略。
通俗解读 非专业人士也能看懂
想象你在看一场电影，电影中的人物和场景不断变化，但你只用一台普通相机拍摄了多角度的录像。传统方法就像用静态图片拼凑场景，难以捕捉人物的运动和变化。而这项技术就像给电影加上了“隐形的导演”，它能自动识别场景中的静态背景和运动中的人物，甚至能让你从未见过的角度重新看场景，甚至让人物做出新的动作。它不用任何标记或特殊设备，只靠这些录像，就能理解整个场景的运动和变化。就像你拥有了一个会“看懂”电影的机器人助手，能帮你制作动画、虚拟现实内容，甚至预测未来的场景变化。这项技术让虚拟世界变得更真实、更智能，也更容易被每个人使用。
简单解释 像给14岁少年讲一样
你知道在玩游戏或者看动画时，有时候场景里的东西会动、会变，但你只能用一台相机拍摄几张照片，然后试图想象它们是怎么动的。以前的技术就像拼图，只能拼出静止的画面，不能让你看到运动的全过程。现在，这项新技术就像给你的相机装上了“神奇的眼睛”，它可以看出场景里静止的背景和运动中的物体，还能预测它们未来会怎么动。更酷的是，它不需要你提前告诉它怎么做，只用这些录像，就能自己学会分辨场景中的静态和动态部分，还能让你用不同角度看场景，甚至让物体做出你没见过的新动作。就像你有了一个超级聪明的机器人朋友，能帮你制作动画、虚拟世界，甚至预测未来的场景变化。这让虚拟世界变得更真实、更有趣，也更容易让每个人都能用得上。
原文摘要
We present STaR, a novel method that performs Self-supervised Tracking and Reconstruction of dynamic scenes with rigid motion from multi-view RGB videos without any manual annotation. Recent work has shown that neural networks are surprisingly effective at the task of compressing many views of a scene into a learned function which maps from a viewing ray to an observed radiance value via volume rendering. Unfortunately, these methods lose all their predictive power once any object in the scene has moved. In this work, we explicitly model rigid motion of objects in the context of neural representations of radiance fields. We show that without any additional human specified supervision, we can reconstruct a dynamic scene with a single rigid object in motion by simultaneously decomposing it into its two constituent parts and encoding each with its own neural representation. We achieve this by jointly optimizing the parameters of two neural radiance fields and a set of rigid poses which align the two fields at each frame. On both synthetic and real world datasets, we demonstrate that our method can render photorealistic novel views, where novelty is measured on both spatial and temporal axes. Our factored representation furthermore enables animation of unseen object motion.