Improving Video Generation with Human Feedback
本研究提出基于人类偏好的视频生成强化学习方法，利用VideoReward模型实现流式模型的对齐，显著提升视频质量。
核心发现
方法论
本文构建了一个包含182k偏好标注的多维度人类偏好数据集，采用VLM（Qwen2-VL-2B）训练多维奖励模型VideoReward。基于此，提出Flow-DPO、Flow-RWR两种训练策略和Flow-NRG推理方法，实现流式视频模型的偏好对齐。通过对比实验，Flow-DPO在多维偏好指标上优于其他方法，Flow-NRG支持个性化目标权重调整，提升模型适应性。
关键结果
- VideoReward模型在偏好匹配和多维指标上超越现有奖励模型，在VideoGen-RewardBench和GenAI-Bench上均表现优异，偏好准确率提升至72.89%（整体）和73.59%（现代模型），比基线高出20%以上。
- Flow-DPO在对齐效果上优于Flow-RWR和微调方法，特别在多维偏好指标中表现稳定，避免奖励操控，显著改善视频的平滑性和文本一致性。
- Flow-NRG推理技术允许用户在推理阶段动态调整多目标权重，实现个性化视频质量优化，满足不同用户需求。
研究意义
该研究突破了流式视频生成模型的偏好对齐瓶颈，结合大规模人类偏好数据和多维奖励模型，有效改善视频的运动平滑性、内容一致性和个性化定制能力，为未来高质量视频生成提供了理论基础和技术路径，推动AI在影视、娱乐、虚拟现实等行业的应用升级。
技术贡献
提出多维偏好数据集和VideoReward奖励模型，系统分析奖励设计对模型性能的影响。引入Flow-DPO、Flow-RWR两种训练策略，结合Flow-NRG推理技术，创新性地实现流式模型的偏好对齐。通过KL正则化和奖励引导，增强模型的鲁棒性和个性化适应性，提供了完整的RLHF（强化学习人类反馈）框架在视频生成中的新应用。
新颖性
首次将多维偏好标注引入流式视频生成模型的强化学习对齐，提出Flow-DPO无时序依赖的稳定训练策略，以及Flow-NRG的推理时个性化调节机制，显著优于传统的微调和单一指标优化方法，填补了该领域在高质量、多目标视频生成中的空白。
局限性
- 当前模型依赖大量偏好标注，数据采集成本高，且偏好偏向可能存在偏差，影响模型泛化。
- 在极端复杂场景或长视频生成中，模型仍存在运动不够自然、细节不足的问题，需进一步优化模型结构和训练策略。
- 推理阶段的个性化调节虽然灵活，但在多目标权重平衡上仍需手动调参，缺乏自动化调优机制。
未来方向
未来将探索更高效的偏好数据采集方法，结合自监督学习减轻标注负担，提升模型在复杂场景下的表现。同时，研究自动化多目标调节机制，增强模型的自适应能力，推动视频生成技术向更高的真实性和个性化方向发展。
AI 总览摘要
随着深度学习技术的发展，视频生成已取得显著突破，但仍面临运动不平滑、内容错位等难题。传统方法多依赖无偏差的训练数据，难以满足个性化和高质量需求。本文提出一种基于人类偏好的强化学习框架，通过构建大规模偏好数据集，训练多维奖励模型VideoReward，有效反映人类对视频的多方面偏好。结合该奖励模型，设计了Flow-DPO、Flow-RWR两种训练策略和Flow-NRG推理技术，实现流式模型的偏好对齐。实验显示，VideoReward在偏好匹配和多指标评估中优于现有模型，Flow-DPO在多维偏好指标上表现最优，Flow-NRG支持个性化调节，满足不同用户需求。这一方法不仅提升了视频的运动平滑性和内容一致性，也为未来个性化高质量视频生成提供了新思路。该研究的创新点在于将多维偏好引入流式模型，系统分析奖励设计，结合强化学习和推理调节机制，极大推动了视频生成技术的应用潜力。未来，结合自动偏好采集和多目标自动调节，将进一步拓展其在虚拟现实、影视制作等行业的实际应用价值。
深度分析
研究背景
视频生成技术经历了从早期基于GAN和VAE的短视频合成，到近年来基于扩散模型和流式模型的高保真长视频生成。代表性工作包括DALL·E、Imagen、Stable Diffusion在图像领域的突破，以及VideoDiffusion、Make-A-Video等在视频领域的创新。尽管如此，现有模型在运动平滑、内容一致性和用户偏好满足方面仍有不足。强化学习人类反馈（RLHF）在文本和图像生成中已成功应用，但在视频生成中尚处于探索阶段，主要受限于偏好数据不足和奖励模型设计不完善。
核心问题
核心问题在于如何建立可靠的偏好奖励信号，指导流式视频模型生成符合人类偏好的内容。现有偏好数据多为早期低分辨率视频，难以反映现代高质量视频的细节和动态特征。同时，奖励模型设计缺乏系统性，容易受到偏差和操控，导致偏好对齐效果不稳定。此外，流式模型的特殊机制（如Velocity预测）使得传统对齐方法难以直接应用，亟需创新的对齐策略。
核心创新
本研究的创新点包括：1）构建了182k偏好标注的多维度视频偏好数据集，涵盖视觉质量、运动质量和文本对齐；2）提出VideoReward多维奖励模型，有效捕捉人类偏好；3）设计Flow-DPO、Flow-RWR两种训练策略，避免奖励操控和过拟合；4）引入Flow-NRG推理方法，支持个性化目标调节，提升模型适应性。这些创新突破了流式模型偏好对齐的技术瓶颈，为高质量视频生成提供了理论和实践基础。
方法详解
- �� 构建偏好数据集：采集16k prompts，利用12个T2V模型生成108k视频，标注182k偏好三元组。
- �� 训练奖励模型：采用Qwen2-VL-2B，比较Bradley-Terry（BT）和点估分（Regression）两种偏好学习方式，发现BT优越。
- �� 多维偏好标注：专业标注员对偏好三元组进行视觉质量、运动质量和文本对齐的偏好标注，并赋予Likert评分。
- �� 模型设计：引入多维奖励模型VideoReward，分析设计参数对性能的影响。
- �� 对齐算法：提出Flow-DPO（无时序依赖）、Flow-RWR（奖励加权回归）和Flow-NRG（推理引导），结合KL正则化实现偏好对齐。
- �� 实验验证：在VideoGen-RewardBench和GenAI-Bench上进行评估，比较不同策略的偏好匹配率和视频质量指标。
实验设计
采用多场景数据集，比较不同奖励模型和对齐策略。指标包括偏好准确率、运动平滑性、内容一致性。设置超参数如视频分辨率（448×448）、帧率（2fps）、偏好标注数量（182k）等。进行消融实验验证模型设计的有效性，分析不同KL正则化策略对偏好对齐的影响。还测试了Flow-NRG在个性化目标调节中的表现，确保模型的鲁棒性和泛化能力。
结果分析
VideoReward在偏好匹配和多维指标上优于现有模型，偏好准确率达72.89%，比基线高出20%以上。Flow-DPO在多维偏好指标中表现最优，避免奖励操控，视频运动更平滑、内容更符合文本描述。Flow-NRG实现了推理阶段的个性化调节，用户可以动态调整多目标权重，满足不同偏好。整体结果验证了多维偏好引导在流式视频生成中的有效性和实用性。
应用场景
该技术可广泛应用于虚拟现实、影视后期制作、个性化内容定制等场景，提升生成内容的质量和用户满意度。需要配合高质量偏好数据和强大的计算资源，适合大型内容平台和研究机构采用。未来还可结合自动偏好采集和多目标优化，推动行业创新。
局限与展望
模型依赖大量偏好标注，数据采集成本高，偏好偏向可能存在偏差。复杂场景和长视频生成仍存在运动不自然、细节不足的问题。推理阶段的调节机制需手动调参，缺乏自动化优化。未来需提升数据效率和模型泛化能力，降低成本，增强实用性。
通俗解读 非专业人士也能看懂
想象你在一家工厂里，工厂每天都要生产各种不同的产品。以前，工厂只根据一些简单的标准来判断产品好坏，比如外观漂亮或不漂亮，但这些标准不能完全反映顾客的真实需求。后来，工厂开始请顾客试用产品，并告诉工厂哪些方面做得好，哪些需要改进。工厂用这些反馈调整生产流程，使产品更符合顾客的喜好。类似地，这篇论文用人类的偏好数据训练一个“评判员”，让它能更好地判断生成的视频是否符合人们的期待。通过不断学习和调整，生成的视频变得更自然、更流畅，也更符合用户的个性化需求，就像工厂根据顾客反馈不断改进产品一样。
简单解释 像给14岁少年讲一样
想象你在学校里，老师让你评价几份作业，告诉老师哪一份更棒，或者两份都一样。老师收集了很多你的评价，然后用这些评价训练一个“聪明的机器人”，让它也能帮忙判断作业的好坏。这个机器人还可以根据你的偏好调整，比如你喜欢画得漂亮还是内容丰富。论文里做的事情类似：他们让很多人评价由不同AI模型生成的视频，然后用这些评价训练一个“奖励模型”，告诉AI模型哪些视频更符合人类的喜好。接着，他们设计了几种方法，让AI模型在生成视频时更好地“听取”这些偏好，从而生成更自然、更吸引人的视频。最后，用户还能在生成时自己调节偏好，让视频更符合自己的口味。这就像你可以在点歌时选择喜欢的歌曲风格一样，模型变得更聪明、更贴心了。
原文摘要
Video generation has achieved significant advances through rectified flow techniques, but issues like unsmooth motion and misalignment between videos and prompts persist. In this work, we develop a systematic pipeline that harnesses human feedback to mitigate these problems and refine the video generation model. Specifically, we begin by constructing a large-scale human preference dataset focused on modern video generation models, incorporating pairwise annotations across multi-dimensions. We then introduce VideoReward, a multi-dimensional video reward model, and examine how annotations and various design choices impact its rewarding efficacy. From a unified reinforcement learning perspective aimed at maximizing reward with KL regularization, we introduce three alignment algorithms for flow-based models. These include two training-time strategies: direct preference optimization for flow (Flow-DPO) and reward weighted regression for flow (Flow-RWR), and an inference-time technique, Flow-NRG, which applies reward guidance directly to noisy videos. Experimental results indicate that VideoReward significantly outperforms existing reward models, and Flow-DPO demonstrates superior performance compared to both Flow-RWR and supervised fine-tuning methods. Additionally, Flow-NRG lets users assign custom weights to multiple objectives during inference, meeting personalized video quality needs.