Track the Noise, Move the World:3D-Grounded Motion-Consistent Noise for Controllable Video Generation
UniCaMo通过3D-grounded噪声空间实现对象与摄像机运动的同步控制，提升视频质量与一致性。
核心发现
方法论
UniCaMo构建了一个共享的3D-grounded噪声空间，通过稀疏3D点轨迹沿目标物体轨迹扭曲参考帧的高斯噪声，同时利用虚拟球面噪声在摄像机运动中提供全局一致的噪声值。该方法结合局部轨迹引导的噪声扭曲与全局球面采样，确保在物体运动和视角变化下的几何与时间一致性。只需修改输入噪声，无需额外架构或适配器，利用轻量级LoRA微调预训练模型，实现高效控制。
关键结果
- 在MoveBench基准测试中，UniCaMo在视频质量（FID 10.36）和运动控制（EPE 2.3）方面优于现有方法，表现出更高的场景一致性和细节保留。
- 通过在Wan 2.1（14B）模型上微调，显著提升多目标、多视角场景中的运动连贯性，减少伪影和运动模糊。
- 结合稀疏3D点轨迹与球面噪声采样，有效解决了大范围视角变化中的遮挡和空洞问题，增强了模型的几何理解能力。
研究意义
该研究突破了视频生成中对象与摄像机运动的联合控制瓶颈，为虚拟现实、动画制作及机器人视觉等领域提供了更为精确和自然的动态场景合成方案。通过只修改输入噪声，无需复杂架构调整，极大简化了控制流程，推动了扩散模型在复杂场景中的应用落地。其创新的3D-grounded噪声空间为未来多模态、多视角视频生成提供了理论基础和技术路径，有望引领行业迈向更高的真实性和交互性。
技术贡献
UniCaMo提出了结合稀疏3D点轨迹与球面噪声采样的统一噪声表示，创新性地实现了对象与摄像机运动的同步控制。该方法无需架构改动，仅通过输入噪声的扭曲与采样，增强了模型的几何和时间一致性。利用轻量级LoRA微调，兼容大规模预训练模型（如Wan 2.1），在保证效率的同时大幅提升控制精度。这为扩散模型的可控性和稳定性提供了新思路，突破了传统依赖复杂适配器或多模态条件的限制。
新颖性
本研究首次将3D-grounded噪声空间引入视频扩散模型，实现了对象和摄像机运动的同时精确控制。相较于以往仅依赖2D轨迹或深度信息的方案，UniCaMo通过球面噪声与稀疏点轨迹的结合，有效解决了视角变化中的遮挡和空洞问题，显著提升了几何一致性和时间连续性。这一创新突破了现有多目标、多视角控制的技术瓶颈，为未来复杂场景的高质量生成奠定基础。
局限性
- 该方法依赖稀疏3D点轨迹和深度估计，若轨迹或深度信息不准确，可能影响生成效果。
- 在极端大范围视角变化或复杂遮挡场景中，仍存在部分伪影和几何失真问题。
- 微调过程虽轻量，但在超大模型或高分辨率场景下，计算成本仍较高，需进一步优化。
未来方向
未来将探索更鲁棒的3D场景理解与轨迹估计技术，提升在复杂动态环境中的表现。同时，结合多模态信息（如声音、文本）实现更丰富的场景控制，推动多模态视频生成的研究发展。还将优化算法效率，降低微调成本，扩展到实时交互场景，为虚拟现实和增强现实应用提供更强支撑。
AI 总览摘要
视频作为一种高度表达的视觉媒介，近年来在生成技术上取得了显著突破。传统的扩散模型通过逐步去噪实现高质量视频合成，但在控制对象运动和摄像机视角方面仍存在局限。现有方法多依赖2D轨迹或深度信息，难以实现精确、统一的多目标控制，尤其在复杂场景中易出现几何不一致或伪影。针对这一难题，UniCaMo提出了一种创新的3D-grounded噪声空间，将对象轨迹和摄像机运动融入统一的噪声表示中。该方法利用稀疏3D点轨迹沿目标轨迹扭曲参考帧噪声，同时通过虚拟球面采样确保新揭示区域的全局一致性。只需修改输入噪声，无需架构调整或复杂适配器，极大简化了控制流程。微调大规模预训练模型后，UniCaMo在MoveBench等标准数据集上展现出优异的控制精度和视频质量，显著优于现有方法。这一技术突破为未来多目标、多视角视频生成提供了坚实基础，有望推动虚拟现实、动画制作和机器人视觉等行业迈向更高的真实性和交互性。未来工作将集中在提升轨迹估计的鲁棒性、降低计算成本，以及实现实时交互，为复杂场景中的高质量视频合成开辟新路径。
深度分析
研究背景
随着深度学习和扩散模型的发展，视频生成技术不断演进。从早期基于3D U-Net的模型到近年来大规模潜在扩散模型（如Wan系列），在保持高保真度的同时，逐步实现了长时序一致性。代表性工作包括Video Diffusion Models（VDM）和Transformer基础的模型，解决了场景连续性和细节还原问题。然而，现有模型在多目标、多视角控制方面仍受限，难以实现精确的运动调控，特别是在复杂场景中。多模态条件引入改善了部分控制能力，但缺乏统一的几何框架，导致运动和视角控制常常相互干扰。近年来，噪声扭曲和空间结构引导技术逐渐兴起，为实现更自然的动态场景提供了新思路。
核心问题
核心问题在于如何在单一生成流程中实现对象与摄像机运动的精确、统一控制。传统方法多依赖2D轨迹或深度信息，难以解决视角变化带来的遮挡和空洞问题，导致运动不连贯或几何失真。此外，现有方案多需额外架构或条件模块，增加复杂度和计算成本。如何在不改变基础模型架构的前提下，利用输入噪声实现多目标运动控制，成为亟待解决的难题。尤其在复杂场景中，运动的空间关系和时间一致性难以保证，限制了生成质量和控制精度。
核心创新
UniCaMo的创新点在于提出结合稀疏3D点轨迹与球面噪声采样的统一噪声空间，实现对象和摄像机运动的同步控制。具体创新包括：
- �� 构建共享的3D-grounded噪声空间，利用点轨迹沿目标路径扭曲参考噪声，确保局部运动一致性；
- �� 设计虚拟球面噪声采样，在视角变化时提供全局一致的噪声值，有效应对遮挡和空洞问题；
- �� 仅通过输入噪声扭曲，无需架构调整或训练额外模块，简化控制流程；
- �� 利用轻量级LoRA微调大规模预训练模型，提升运动控制的精度和效率。这些创新使得多目标、多视角控制成为可能，突破了传统依赖复杂条件或多模态条件的限制。
方法详解
- �� 采集稀疏3D点轨迹和相应的深度、相机姿态信息，作为运动约束的基础；
- �� 将点轨迹投影到图像平面，映射到潜在特征空间中，沿轨迹复制第一帧的噪声，形成运动一致的噪声初始化；
- �� 采用深度检测，解决轨迹重叠的遮挡问题，优先选择距离最近的点，确保几何合理性；
- �� 构建虚拟球面，利用相机位置采样球面噪声，保证视角变化中的空间一致性；
- �� 将轨迹扭曲的噪声与球面采样的噪声结合，形成完整的运动一致噪声空间；
- �� 在微调阶段，利用LoRA对预训练模型进行微调，增强运动控制能力；
- �� 在推理阶段，根据用户输入的轨迹和视角，实时构建运动一致的噪声，生成目标视频。
实验设计
采用MoveBench作为主要评估基准，比较包括MagicMotion、Wan-Move和Go-with-the-Flow等方法。指标涵盖FID、FVD、PSNR、SSIM和轨迹端点误差（EPE），验证视频质量和运动控制的准确性。通过在Wan 2.1（14B）模型上微调，验证了方法的有效性。实验还包括消融研究，分析稀疏点轨迹、球面噪声采样对控制效果的影响。多目标、多视角场景下，UniCaMo表现出优越的稳定性和细节还原能力，特别在复杂运动和遮挡条件下，显著减少伪影和几何失真。
结果分析
UniCaMo在MoveBench上取得了FID 10.36、FVD 78.6的优异成绩，明显优于Wan-Move（FID 12.2、FVD 83.5）和其他基线。在多目标、多视角场景中，控制精度提升，运动轨迹更为自然连贯。消融实验显示，结合稀疏3D点轨迹与球面噪声采样，显著改善了遮挡和空洞问题，增强了模型的几何理解。微调后，模型在保持高效的同时，控制能力大幅提升，验证了方法的实用性。
应用场景
该技术适用于虚拟现实、动画制作、影视特效及机器人模拟等场景。用户只需提供目标轨迹和视角信息，即可生成高质量、运动自然的视频内容。无需复杂架构调整，便于在现有大规模预训练模型基础上快速部署。未来还可结合多模态信息，实现更丰富的场景控制和交互，为行业带来更高的生产效率和场景真实感。
局限与展望
依赖稀疏3D点轨迹和深度估计，若数据不准确，可能影响生成效果。极端视角变化或复杂遮挡仍存在伪影和几何失真风险。微调成本较高，尤其在高分辨率场景中，计算资源需求大。未来需增强模型的鲁棒性和效率，解决大规模场景中的性能瓶颈。
通俗解读 非专业人士也能看懂
想象你在做一部动画电影，你希望角色可以在不同的场景中自由移动，摄像机也可以跟着角色转动。以前的方法就像用手绘每一帧，既费时又容易出错。现在，科学家们发明了一种新技术，就像给每个角色和摄像机都装上了“隐形线”，让它们的动作和视角都能自动同步。这个“隐形线”其实是一个特殊的空间，里面的每一点都记载着运动信息。只要你告诉它角色的轨迹和摄像机的运动，它就能帮你生成连续、自然的动画。这样，制作动画变得更快、更自然，也更容易控制各种复杂动作。这个技术就像给动画加上了“魔法”，让虚拟世界变得更真实、更生动。
简单解释 像给14岁少年讲一样
想象你在玩一款超级酷的游戏，你可以让你的角色在不同的地方跑来跑去，摄像机也可以跟着角色转动。以前，要做到这一点很难，因为每次都要手动调整每一帧，特别是当角色跑到不同的地方或者摄像机转动时，画面就会变得不自然。现在，有了这项新技术，就像给游戏里的角色和摄像机都装上了“隐形线”，它们会自己动，保持一致。你只需要告诉它们“我想让这个角色沿着这条路线跑”，它就会帮你自动生成连续的画面，让一切看起来都很自然，就像真的一样。这就像用魔法让虚拟世界变得更真实、更酷，游戏体验也会更棒！
原文摘要
Modern image-and-text-to-video diffusion models can synthesize highly realistic videos by iteratively denoising an initial Gaussian noise tensor conditioned on reference image and text inputs. However, existing approaches still lack precise and unified controllability over both object motion and camera motion within a single generation process. We present UniCaMo, a unified framework that enables simultaneous control of object trajectories and camera viewpoints by directly constructing the input noise of the diffusion model. Specifically, UniCaMo builds a shared 3D-grounded motion-consistent noise space across latent video frames. Sparse 3D point tracks are used to warp the Gaussian noise of the reference frame along desired object trajectories, while a virtual spherical noise representation provides globally consistent noise values for newly revealed scene regions under camera motion. By combining local track-guided noise warping with global sphere-based noise sampling, UniCaMo maintains geometric and temporal consistency under both object movement and viewpoint changes. Because UniCaMo modifies only the input noise, it requires no auxiliary adapters, control branches, or architectural changes to the underlying video diffusion model. With lightweight LoRA fine-tuning on large pretrained video diffusion models, including Wan 2.1 (14B), UniCaMo achieves state-of-the-art results in both video quality and motion controllability on standard controllable video generation benchmarks.