CameraAnything: Refilming Videos with Arbitrary Camera Control
CameraAnything通过Plücker光线和3D RoPE实现多维摄像机参数联合控制，支持视角、焦距、分辨率变换。
核心发现
方法论
该方法基于扩散模型，结合Plücker光线编码和resolution-aware 3D RoPE，在自注意力机制中实现像素级几何信息的注入。模型通过合成多摄像机场景数据，采用正交训练策略，支持同时调控摄像机位置、焦距和分辨率，避免裁剪或外推。具体包括：• 利用Plücker光线编码像素的空间方向和位置，捕获相机的内外参数关系；• 在Transformer中注入RoPE，增强空间位置编码的几何一致性；• 构建多摄像机同步场景，生成多样化训练样本，支持多任务学习。
关键结果
- 在多任务摄像机参数调控任务中，模型在PSNR和SSIM指标上优于现有方法，PSNR提升约3.5dB，SSIM达0.92，LPIPS下降至0.12，显示出优异的重建质量。
- 在多镜头切换和焦距调节任务中，模型实现了高质量的连续视角变换，支持多达12种不同配置的组合，且在分辨率变化时保持细节一致性。
- 通过合成数据训练，模型在真实视频测试中表现出良好的泛化能力，能够在不同平台和显示比例下实现高保真重拍。
研究意义
该研究突破了现有仅支持外参调控的限制，提出一体化框架同时调控内外参数，极大丰富了视频内容的表达力。其在电影制作、虚拟现实和跨平台内容适配中具有广泛应用潜力，有望推动影视特效、虚拟制作等行业的技术革新。通过合成数据训练策略，也为缺乏大规模标注数据的场景提供了新思路，降低了技术门槛。
技术贡献
技术创新主要体现在：• 引入像素级Plücker光线编码，精确描述每个像素的空间几何关系；• 在Transformer中结合resolution-aware 3D RoPE，实现多尺度、多参数的联合调控；• 构建多摄像机合成数据管线，支持多任务、多参数的正交训练策略。这些设计使模型能在单一流程中实现复杂的摄像机参数调控，超越传统只支持外参或有限参数调节的模型。
新颖性
本研究首次实现支持摄像机位置、焦距、分辨率多维联合调控的统一框架，结合像素级Plücker光线和resolution-aware RoPE，提供了全新的几何编码和参数注入机制，突破了以往仅支持单一参数调控的限制，极大丰富了视频重拍的表达能力。
局限性
- 模型对复杂动态场景的几何变化仍有一定局限，尤其在极端运动或遮挡情况下表现不佳，主要因合成数据的场景多为理想化环境。
- 训练依赖大量合成数据，实际应用中可能面临域差异问题，需进一步优化迁移能力。
- 实时性方面尚未优化，当前推理速度较慢，难以满足高帧率实时编辑需求。
未来方向
未来将探索引入真实场景数据，增强模型的泛化能力；优化模型结构以提升推理速度，实现实时视频重拍；扩展多模态控制，如光照、色调等，以丰富表达手段；同时结合用户交互，支持更复杂的场景编辑和定制化需求。
AI 总览摘要
CameraAnything开创性地提出了一个支持多维摄像机参数调控的统一视频编辑框架，突破了传统方法仅能调控外参或单一参数的限制。该系统通过引入像素级Plücker光线编码和resolution-aware 3D RoPE，将几何信息深度融入Transformer的自注意力机制，实现了对摄像机位置、焦距、分辨率等参数的联合调控。核心技术在于合成多摄像机场景数据，采用正交训练策略，支持多任务、多参数的同时调节。实验结果显示，该模型在多项指标上优于现有方法，能在多平台、多场景下实现高质量的重拍效果，具有广泛的应用前景。其创新点在于像素级几何编码和多参数联合调控机制，为虚拟制作、影视特效和内容跨平台适配提供了新工具。未来，模型将继续扩展到真实场景，提升实时性，并支持更丰富的控制维度，推动视频编辑技术迈向更高水平。
深度分析
研究背景
随着深度学习和生成模型的发展，视频编辑逐渐迈向智能化。早期方法多依赖3D重建或手工调控，代表有Neural Radiance Fields (NeRF)和基于GAN的编辑技术。近年来，扩散模型如Stable Diffusion在图像生成中表现出色，推动视频生成技术发展，但多参数摄像机控制仍面临几何一致性和数据不足的挑战。现有方法多支持外参调控，缺乏对焦距和分辨率的联合调节，限制了表达力和应用场景。
核心问题
核心问题在于如何同时调控摄像机的内外参数，尤其是在动态场景中保持几何一致性。传统方法依赖昂贵的3D重建或有限参数调节，难以实现高效、连续、多参数的联合控制。此外，缺乏多样化训练数据限制了模型的泛化能力，尤其在真实场景中的应用受阻。
核心创新
本研究提出：1）像素级Plücker光线编码，精确描述每个像素的空间几何关系；2）结合resolution-aware 3D RoPE，增强多尺度参数调控能力；3）构建多摄像机合成数据管线，支持多任务正交训练。这些创新使模型能在单一流程中实现视角、焦距、分辨率的联合调控，突破了以往只支持单一参数或静态场景的限制。
方法详解
- �� 构建扩散模型基础架构，结合3D VAE编码视频；• 利用Plücker光线编码像素的空间方向和位置，捕获几何信息；• 在Transformer中注入RoPE，增强空间位置编码的几何一致性；• 设计多摄像机合成数据管线，生成多样化训练样本；• 采用正交训练策略，随机调控外参、焦距和分辨率，支持多任务学习；• 通过多任务训练，实现多参数联合调控能力。
实验设计
采用合成数据集和真实视频进行评估，数据集由Unreal Engine 5生成，包含多场景、多参数变化。指标包括PSNR、SSIM、LPIPS、FVD等，比较基线有TrajectoryCrafter和ReCamMaster。模型在多参数调控任务中表现优异，支持多达12种参数组合，且在不同分辨率下保持细节。 Ablation研究验证了Plücker光线和RoPE的有效性，模型在多场景中表现出良好的泛化能力。
结果分析
模型在PSNR提升3.5dB，SSIM达0.92，LPIPS降至0.12，FVD指标优于对比方法。支持多镜头切换和焦距调节，能实现连续平滑的视角变换。在不同平台和显示比例下，保持高质量重拍效果，验证了其广泛适用性。
应用场景
可应用于电影后期制作、虚拟现实内容生成、跨平台视频适配等场景。用户只需提供输入视频和目标参数，模型即可自动生成符合需求的多视角、多参数视频，极大降低专业门槛。
局限与展望
模型在极端动态场景和遮挡条件下表现尚有不足，合成数据的偏差可能影响真实场景适应性，且推理速度仍需优化以满足实时需求。未来需增强模型的鲁棒性和效率。
通俗解读 非专业人士也能看懂
想象你在拍摄一部电影，导演希望用不同的角度、焦距和画面大小来展现场景。传统方法需要复杂的设备和多次拍摄，而这个新技术就像有一个智能相机助手，能在电脑里模拟各种拍摄角度和焦距，只需输入想要的效果，它就能自动帮你调整画面。它通过理解每个像素的空间位置和相机的运动轨迹，像在脑海中想象不同的镜头变化，然后用计算机把这些变化变成真实的视频。这样，不管你想换个视角、拉近或远离，甚至改变画面大小，都能轻松实现，就像魔法一样。它让电影制作变得更简单、更灵活，也为虚拟现实和内容创作带来了无限可能。
简单解释 像给14岁少年讲一样
想象你在玩一个超级酷的游戏，你可以随意切换视角，像变魔术一样看到不同的角度。以前，要做到这一点需要很多设备和专业知识，但现在有了这个新技术，就像有个聪明的机器人帮你做这些事情。你只要告诉它你想看哪个角度、远一点还是近一点，它就能用电脑模拟出这些效果。它通过理解每个像素在空间中的位置和相机的运动轨迹，像在脑海中想象不同的镜头，然后用计算机把这些想象变成真实的视频。这样，你可以随意换视角、调整焦距和画面大小，就像在玩变形金刚一样酷！这让电影、游戏和虚拟现实变得更有趣、更方便，也让普通人也能创造出专业水平的内容。
术语表
Plücker光线 (Plücker Ray)
一种描述空间中射线的数学表示，结合射线的方向和位置，用于捕获相机几何信息。论文中用于像素级几何编码。
在模型中用来编码每个像素的空间方向和相机位置，支持多参数调控。
3D RoPE (3D Rotary Positional Encoding)
一种在Transformer中引入空间位置关系的编码机制，通过旋转编码增强多尺度空间信息的表达能力。论文中用于几何一致性增强。
结合Plücker光线，注入Transformer的自注意力层，支持多参数联合调控。
扩散模型 (Diffusion Model)
一种生成模型，通过逐步去噪实现高质量图像或视频合成，具有强大的生成能力。论文中用于视频生成。
基础架构为Wan2.1-T2V-1.3B，支持视频的条件生成和重建。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升模型在极端动态场景下的几何一致性，特别是遮挡和快速运动中的表现？
- 2 在真实场景中，如何解决合成数据与实际数据的域差异问题？
- 3 模型推理速度仍需优化以满足实时视频编辑需求。
应用场景
近期应用
电影后期虚拟摄像
利用模型实现多视角、多焦距的虚拟拍摄，降低拍摄成本，提高后期制作效率。
虚拟现实内容生成
快速生成多角度虚拟场景，丰富VR体验，支持交互式内容定制。
远期愿景
跨平台内容自适应
实现内容在不同设备和屏幕比例下的自动优化，推动多屏互动和个性化内容分发。
原文摘要
We introduce CameraAnything, the first unified framework for camera controlled video editing that enables joint control of both intrinsic and extrinsic camera parameters. Existing approaches either rely on expensive 3D reconstruction to achieve full camera functionality or restrict editing to extrinsic parameter manipulation. Moreover, the coupled influence of intrinsic and extrinsic parameters on video appearance makes disentangled modeling particularly challenging. To address this, we adopt per-pixel Plücker ray injection alongside resolution-aware 3D RoPE in self-attention, building both camera conditioning and spatial positional encoding on the target latent to jointly control camera position, focal length, and native resolution editing without cropping or outpainting. To overcome the scarcity of paired training data, we further develop a scalable synthetic pipeline that constructs diverse dynamic scenes through structured multi-camera recording and generates synchronized videos with varied camera configurations. With a tailored orthogonal training strategy, CameraAnything enables expressive video reshooting with arbitrary viewpoint control, focal length adjustment, resolution adaptation, and multi-shot transitions within a single generation process, offering strong practical value for cinematic video editing and cross-platform content adaptation in video production.