How Far Can 5,500 Hours of Driving Take You? A Scaling Law Analysis of Video Diffusion Models
本研究通过比例定律分析，验证了视频扩散模型在驾驶数据上的规模效应，最大模型达9B参数，验证损失预测误差仅3.6%。
核心发现
方法论
采用基于幂律的规模定律模型，分析模型参数规模、训练曝光量和计算预算对验证损失的影响。通过大量实验（超过200次训练）涵盖从1M到9B参数的模型，结合不同训练曝光和计算资源，拟合验证损失的幂律关系，验证模型在不同规模下的表现趋势。模型架构采用基于Diffusion Transformer的时空视频变换器，利用Flow Matching进行条件视频生成，数据集包括5500小时多摄像头驾驶视频，覆盖28个国家。实验中，分别在模型规模、训练曝光和计算预算三个维度进行拟合，得出验证损失的幂律关系式，并预测最大模型的性能极限。
关键结果
- 验证损失随模型参数规模呈幂律递减（αN≈0.213），从1.6M到1.1B参数，验证损失从0.1528降低到0.0828，预测9B参数模型的验证损失约为0.0753，误差仅3.6%。
- 训练曝光对损失改善更敏感，幂律指数αD≈0.74，增加训练样本数（最多2.8亿）显著降低验证误差，模型在不同规模下表现出一致的优化动态。
- 在计算预算限制下，验证损失遵循幂律关系（αC≈0.155），最大模型（9B参数）在约1.4×10^7样本训练后达到预测性能，验证模型在实际训练中验证预测的准确性极高。
研究意义
该研究首次系统性验证了视频扩散模型在驾驶场景中的规模定律，为模型规模、训练时间和数据量的优化提供科学依据。尤其在数据受限的自动驾驶应用中，揭示了长时间训练优于扩大模型规模的趋势，为未来大规模视频生成模型的设计提供理论支撑，推动自动驾驶虚拟仿真和安全测试的发展。
技术贡献
提出基于幂律的多维规模定律模型，系统分析模型参数、训练曝光和计算资源对验证损失的影响。创新性地将扩散模型的训练动态与规模关系结合，验证了在数据有限条件下，训练时间对性能提升的优越性。实现了最大规模（9B参数）视频扩散模型的训练，验证了模型性能的可预测性和可扩展性，为大规模模型训练提供了理论指导。
新颖性
首次在驾驶场景下系统验证视频扩散模型的规模定律，结合Flow Matching训练机制，提出多维规模关系模型，填补了视频生成中规模效应研究的空白。不同于以往仅关注图像或文本模型的研究，本工作专注于有限数据环境下的模型扩展规律，具有重要创新意义。
局限性
- 模型训练依赖大量计算资源，实际部署受限于硬件条件，模型推理速度仍需优化。
- 数据集虽大但仍有限，未来需探索多源、多模态数据的规模效应。
- 模型在极端场景（如复杂交通环境）中的泛化能力尚未充分验证，未来需结合实际应用进行测试。
未来方向
未来将结合多模态信息（如深度、目标检测）丰富模型输入，探索更复杂场景下的规模效应。还将研究模型压缩与加速技术，提升推理效率，推动模型在实际自动驾驶系统中的应用落地。同时，计划扩展数据集，验证模型在更大规模、多样化环境中的表现。
AI 总览摘要
本研究系统性分析了视频扩散模型在自动驾驶场景中的规模效应，揭示了模型参数、训练曝光和计算资源对验证损失的幂律关系。通过大量实验，验证了模型规模越大，验证误差越低，最大模型达9B参数，验证损失预测误差仅3.6%。研究发现，训练时间对性能提升的影响远超模型规模，长时间训练在数据有限条件下尤为重要。基于这些规律，作者成功训练了最大规模的驾驶视频扩散模型，超越现有开源模型，成为行业新标杆。该工作为自动驾驶虚拟仿真提供理论基础，指导未来大规模模型的设计与训练策略。尽管模型在硬件和数据方面仍有挑战，但其规模定律的验证为未来研究提供了坚实的科学依据。整体而言，这项工作推动了视频生成技术的前沿，为自动驾驶的安全性和效率提升提供了重要技术支撑。
深度分析
研究背景
随着深度学习的发展，视频生成技术已取得显著突破，尤其在自动驾驶领域，虚拟场景的生成成为关键。早期方法多依赖于GAN或自回归模型，但受限于训练不稳定和难以扩展。近年来，扩散模型因其稳定性和生成质量被广泛采用，尤其在图像合成中表现优异。代表性工作如DALL·E、Imagen等推动了文本到图像的生成，但视频生成仍面临数据不足、模型复杂和计算成本高等挑战。多项研究尝试结合多模态信息提升生成效果，但缺乏系统的规模效应分析。现有研究多集中在单一模型或有限数据集，缺乏在大规模驾驶数据上的规模定律验证。本研究填补了在有限驾驶数据环境下，视频扩散模型规模效应的空白，为未来大规模训练提供理论指导。
核心问题
在自动驾驶中，虚拟场景的高质量生成依赖于大规模模型和丰富数据，但实际数据采集成本高、隐私限制严格，导致数据量有限。如何在有限数据和计算资源下，最大化模型性能成为核心难题。现有模型多受制于训练时间、模型容量和数据重复率，缺乏系统的规模效应理解。特别是在驾驶场景中，数据的多样性和复杂性要求模型具有良好的泛化能力。如何合理配置模型参数、训练曝光和计算资源，确保模型在有限数据条件下达到最优性能，成为亟待解决的问题。这不仅关系到模型的实际应用效果，也影响未来自动驾驶系统的安全性和可靠性。
核心创新
本研究提出了多维规模定律模型，系统分析模型参数、训练曝光和计算预算对验证损失的影响。创新点包括：
- �� 采用幂律关系拟合验证损失，揭示不同规模和训练时间的性能变化规律；
- �� 在驾驶场景下训练最大规模（9B参数）视频扩散模型，验证模型性能的可预测性；
- �� 结合Flow Matching机制，提升模型训练的稳定性和生成质量；
- �� 通过大规模实验，验证模型在有限数据环境中的规模效应，提供科学的模型扩展策略。此方法突破了以往仅关注单一因素的研究，为多因素协同优化提供了理论基础。
方法详解
- �� 构建基于幂律的多维规模关系模型，分析模型参数、训练曝光和计算预算对验证损失的影响；
- �� 采用Diffusion Transformer架构，结合Flow Matching训练机制，利用多摄像头驾驶数据集进行训练；
- �� 设计大量实验（超过200次训练），涵盖不同模型规模（1M到9B参数）、训练样本（最多2.8亿）和计算资源，拟合验证损失的幂律关系式；
- �� 通过模型参数、训练曝光和计算预算的幂律拟合，预测最大模型的性能极限，并验证预测的准确性；
- �� 在最大模型（9B参数）上进行长时间训练，验证模型性能与预测的一致性，确保模型在实际应用中的可扩展性。
实验设计
实验使用由NATIX提供的5500小时多摄像头驾驶视频，划分为约30万段1分钟视频片段。模型在不同参数规模（从1.6M到9B参数）上训练，采用不同学习率和批次大小，评估验证损失。通过拟合验证损失的幂律关系，分析模型参数、训练样本数和计算资源的影响。还进行了数据重复率的消融实验，验证有限数据下的性能极限。所有模型均在GPU集群上训练，采用bfloat16精度，利用AdamW优化器，训练时间从几小时到数天不等。最终，基于拟合模型的预测，训练了最大规模（9B参数）模型，并验证其性能与预测的一致性。
结果分析
验证损失随模型参数呈幂律递减，预测最大模型（9B参数）验证损失约为0.0753，误差仅3.6%。训练曝光对性能提升更敏感，幂律指数约为0.74，增加样本数显著改善模型表现。计算资源限制下，验证损失也遵循幂律关系，最大模型在约1.4×10^7样本训练后达到预测性能。数据重复率实验证明，有限数据环境下，重复训练对性能影响有限，模型在较少新数据下仍能保持较好性能。这些结果验证了规模定律的普适性，为未来大规模驾驶视频模型提供了科学依据。
应用场景
该模型可用于自动驾驶中的虚拟场景生成、路径规划和安全测试，尤其在真实数据有限的情况下，通过长时间训练实现更高质量的视频合成。未来，结合多模态信息，可提升模型的泛化能力和场景复杂度，推动自动驾驶系统的虚拟仿真和安全验证。模型还可应用于交通模拟、虚拟训练和智能交通管理，为行业提供高效、可靠的技术支持。
局限与展望
模型训练成本高昂，硬件资源需求巨大，实际部署存在推理速度瓶颈。数据集虽大但仍有限，未来需扩展多源、多模态数据以提升泛化能力。模型在极端复杂环境中的表现尚未充分验证，存在泛化不足的风险。未来需研究模型压缩和加速技术，降低硬件门槛，增强实际应用的可行性。
通俗解读 非专业人士也能看懂
想象你在一家厨房做饭，食材代表数据，厨具代表模型，烹饪时间代表训练时间。你可以用少量食材做出简单菜肴，也可以用大量食材和更复杂的厨具做出丰富的菜肴。这个研究就像是在探索用不同的厨具和食材组合，做出最好吃的菜肴的规律。模型参数越大，就像用更高级的厨具，能做出更复杂的菜。训练时间越长，就像烹饪时间越久，菜越入味。数据就像食材的多样性，越丰富越好，但如果反复用同样的食材，味道也可以变得更好。研究发现，长时间烹饪比换更好的厨具更重要，尤其在食材有限的情况下。最终，他们用这些规律训练了一个超级厨师（模型），能做出比以前更美味的菜肴，为自动驾驶的虚拟场景提供了强大工具。
简单解释 像给14岁少年讲一样
想象你在厨房里做饭，你有很多食材（数据），用不同的厨具（模型）和烹饪时间（训练时间）可以做出不同的菜。这个研究就像是在找出用多少厨具、多少时间、多少食材，能做出最好吃的菜。科学家们发现，用更复杂的厨具（大模型）可以做出更好吃的菜，但花费的时间（训练时间）越长，效果越明显，比换厨具更重要。即使食材有限，只要多花点时间反复烹饪，菜也能变得更好吃。最后，他们用这些规律，训练了一个超级厨师（大模型），能做出比以前更美味的菜，为自动驾驶的虚拟场景提供了强大工具。是不是很酷？这就像在厨房里找到最聪明的做菜秘诀一样！
原文摘要
Video generation for autonomous driving cannot follow the web-scale route: driving data is expensive to collect, bound by privacy requirements, and cannot be scraped at will, so models must make the most of a fixed corpus. We present a systematic scaling-law study of video diffusion models trained from scratch on driving data: a family of models from 1M to 9B parameters, trained at different exposures on up to 5,500 hours of driving. Validation loss follows consistent power laws in both model size and training exposure, answering the questions that shape a training budget: whether compute is better spent on longer training or on a larger model, and whether more data is needed. Loss improves much faster with training exposure than with model size, making longer training the most effective way to improve a fixed model under limited compute. However, larger models continue to achieve lower asymptotic loss, so compute-optimal scaling still favors increasing model size when sufficient compute and data are available. Guided by these laws, we train a 9B-parameter model, to our knowledge the largest video diffusion model trained from scratch on driving data: it sets a new open-source state of the art for driving video generation, as measured on nuScenes. Our code and pretrained models are available at https://github.com/valeoai/VATIX. NATIX is separately releasing the underlying driving data in stages.