核心发现
方法论
作者提出Random-Mask Video Diffusion（RaMViD），把图像扩散模型改造成视频模型：用3D卷积U-Net建模时空相关性，并在训练时只对随机选出的未知帧加噪，已知帧保持干净输入。损失只作用于未知帧，对应Eq. (8) 的去噪分数匹配。通过以概率pU置空条件、并随机采样条件帧数k≤K，模型可在同一架构下同时学习条件与无条件生成，兼顾预测、补帧和上采样。
关键结果
- 在BAIR机器人推挤数据集上，RaMViD在“给1帧预测未来15帧”任务中达到FVD 85.3±1.8（pU=0.25, K=4），优于FitVid 93.6、MCVD 89.5、NÜWA 86.9；K=8时进一步到82.64。说明随机掩码训练不仅不伤性能，反而可能提升时序一致性。
- 在Kinetics-600上，“给5帧预测11帧”时，RaMViD达到FVD 17.53±1.07（pU=0.25），显著优于TrIVD-GAN-FP 26、CCVS 55±1、DVD-GAN-FP 69±1、Video Transformer 170±5。对视频补全，C={0,5,10,15}时FVD仅4.91（pU=0.25），显示其能把稀疏锚点融成连贯运动。
- 无条件生成方面，在UCF-101上RaMViD取得IS 21.71±0.21（pU=0.75）和20.84±0.08（pU=0.5），接近/优于早期GAN基线如MoCoGAN 12.42、TGAN-F 13.62，但低于高分辨率DVD-GAN 32.97。消融显示pU过高会损害复杂数据上的预测性能，BAIR上则容忍度更高。
研究意义
这项工作证明扩散模型不仅能做静态图像生成，也能在视频这种强时间耦合任务上实现高质量预测与补全。其意义在于：一方面，它把扩散模型的稳定训练和高保真细节保留下来；另一方面，它以极简条件机制解决了视频预测中常见的“条件帧与生成帧不协调”问题，免去了昂贵的重采样。对自动驾驶、机器人规划、事件预判和视频修复等场景，这意味着更自然、更一致的未来想象能力。
技术贡献
技术上，RaMViD的关键是“随机掩码条件训练”：输入始终是整段视频，但仅对U中的帧加噪，C中的帧直接作为上下文；网络输出也只在U上计损失。与通常把条件单独拼接/编码的方法不同，这里不需要额外条件分支，仍可复用无条件U-Net架构。作者还引入pU控制无条件样本比例，使模型在同一训练过程中兼得conditional与unconditional目标。实验表明，线性噪声调度比余弦调度更适合该设定。
新颖性
新颖性主要体现在两点：其一，首次将随机掩码训练系统化用于视频扩散，统一处理预测、补帧和上采样；其二，在不改主干结构的前提下实现条件/无条件混训。相较于以往VAE、GAN或自回归扩散视频方法，RaMViD更像“一个模型，多种视频完成任务”，且在BAIR与Kinetics-600上都给出强结果。
局限性
- 在Kinetics-600这类复杂数据上，pU过高会明显拉低性能，例如pU=0.75时预测FVD升至27.64，说明无条件目标与条件目标的分布冲突更强，简单混训并非总是最优。
- 模型在快速运动上仍会变形，作者在Kinetics-600和UCF-101的可视化中都指出高速目标容易失真，说明3D卷积扩散仍难完全捕捉剧烈位移。
- 自回归长视频生成会逐步退化，约30帧后质量明显下降，表明误差累积仍是扩散视频模型的现实瓶颈。
未来方向
未来可围绕三条线推进：一是为不同任务设计更合适的掩码/条件调度，系统比较K、pU和掩码位置策略；二是把超分辨率模块接到RaMViD上，提升高分辨率视频生成；三是扩展到其他序列域，如动作姿态、医学时序或传感器数据，验证随机掩码条件是否具有更一般的缺失建模能力。
AI 总览摘要
深度解读
原文摘要
Predicting and anticipating future outcomes or reasoning about missing information in a sequence are critical skills for agents to be able to make intelligent decisions. This requires strong, temporally coherent generative capabilities. Diffusion models have shown remarkable success in several generative tasks, but have not been extensively explored in the video domain. We present Random-Mask Video Diffusion (RaMViD), which extends image diffusion models to videos using 3D convolutions, and introduces a new conditioning technique during training. By varying the mask we condition on, the model is able to perform video prediction, infilling, and upsampling. Due to our simple conditioning scheme, we can utilize the same architecture as used for unconditional training, which allows us to train the model in a conditional and unconditional fashion at the same time. We evaluate RaMViD on two benchmark datasets for video prediction, on which we achieve state-of-the-art results, and one for video generation. High-resolution videos are provided at https://sites.google.com/view/video-diffusion-prediction.