Prompt-A-Video: Prompt Your Video Diffusion Model via Preference-Aligned LLM
提出Prompt-A-Video，基于偏好对齐的LLM优化视频生成提示，提升视频质量指标平均提升0.2以上。
核心发现
方法论
本研究提出一种两阶段的自动提示优化框架，结合奖励引导的提示演化和偏好对齐技术。首先，利用多维奖励系统对生成视频进行评价，构建高质量提示池。然后，通过演化算法和GPT-4o模型实现提示的自动优化，生成符合模型偏好的高质量提示。最后，采用监督微调（SFT）和直接偏好优化（DPO）对大规模语言模型进行训练，使其能自动生成视频中心的提示。该方法显著改善了不同文本到视频模型的生成效果，验证了其在WebVid和VBench数据集上的优越性能。
关键结果
- 在WebVid数据集上，经过DPO-2优化的Prompt-A-Video提升了Open-Sora 1.2模型的平均视频质量指标（VQ、TC、DD等）分别达0.201、0.072、0.155，优于原始提示和其他对比方法。具体而言，VQ指标由3.079提升至3.254，表明生成视频的清晰度和色彩表现更佳。
- 在VBench测试集中，Prompt-A-Video显著改善了视频的主题一致性、背景一致性和运动平滑度，平均提升幅度达0.15以上。用户主观评价中，Prompt-A-Video在视频质量优劣比中获得超过80%的胜率，优于GPT-4o和Promptist等方法。
- 通过多轮偏好偏向训练，模型在不同生成模型上的泛化能力增强，验证了其在多模态视频生成中的适应性和鲁棒性。
研究意义
本研究突破了传统提示工程的局限，首次提出基于偏好对齐的LLM提示自动优化框架，极大降低了用户对专业知识的依赖，推动了视频生成技术的智能化和自动化。该方法不仅提升了生成视频的质量和一致性，也为未来多模态内容生成提供了新的技术路径，有望在影视制作、虚拟现实、游戏开发等行业产生深远影响。同时，结合奖励机制和演化算法的设计，为多模态任务中的提示优化提供了理论基础和工程实践的范例，具有重要的学术价值和应用潜力。
技术贡献
本研究的核心技术创新在于引入多维奖励系统评估视频质量，结合演化算法自动生成高质量提示，并利用大规模预训练语言模型（如GPT-4o）实现提示的自动优化。通过两阶段训练策略（SFT和DPO），模型不仅具备了自动生成偏好对齐提示的能力，还实现了对不同视频生成模型的泛化适应。与现有的图像提示优化方法相比，本框架特别针对视频的动态特性，解决了模态不一致和模型不感知的问题，显著提升了视频生成的整体效果。
新颖性
本研究首次提出了基于偏好对齐的LLM自动提示优化框架，专为视频生成任务设计，突破了传统图像提示迁移到视频的局限。引入多维奖励评价体系和演化算法，有效解决了模态不一致、成本高昂和模型不感知等难题。相比于单纯依赖人类经验或静态提示模板的方法，本框架实现了全自动、模型感知的提示优化，具有开创性意义。
局限性
- 当前方法依赖大量的高质量奖励标注和多轮演化，计算成本较高，特别是在大规模视频数据集上的应用仍需优化效率。
- 模型偏好对齐主要基于特定训练数据和奖励指标，可能在极端场景或新颖内容生成中表现有限，存在泛化不足的风险。
- 视频动态特性复杂，部分优化目标可能导致运动过度抑制或细节丢失，未来需结合更丰富的动态评价指标进行改进。
未来方向
未来，研究将聚焦于提升提示优化的效率，探索更高效的奖励机制和多模态融合技术。同时，将扩展到更复杂的长视频生成任务，结合多模态信息（如声音、文本）实现多维度内容协同优化。此外，计划引入强化学习与元学习策略，增强模型在新场景下的适应能力，推动视频生成技术的智能化和个性化发展。
AI 总览摘要
在数字内容快速增长的背景下，视频生成技术成为人工智能研究的热点之一。尽管深度学习模型，尤其是扩散模型，已在短视频和动画制作中取得显著突破，但生成高质量、符合用户偏好的视频仍面临巨大挑战。传统方法依赖于手工设计的提示模板或复杂的后处理流程，既耗时又难以保证一致性和多样性。为此，本文提出了Prompt-A-Video，一种基于偏好对齐的自动提示优化框架，旨在通过智能化的提示生成提升视频质量，降低用户操作难度。
Prompt-A-Video的核心思想是结合奖励引导的提示演化和偏好对齐技术，自动生成符合模型偏好的高质量提示。具体而言，系统首先建立多维奖励体系，从视觉质量、时间一致性、动态变化、文本-视频对齐等多个角度评估生成视频的质量。随后，利用演化算法和GPT-4o模型，自动优化提示内容，形成一套自动化、模型感知的提示生成流程。该流程不仅减少了人工干预，还能适应不同视频生成模型的偏好，增强了方法的泛化能力。
在实验部分，研究团队在WebVid和VBench两个数据集上进行了广泛测试。结果显示，经过DPO-2优化的Prompt-A-Video在多个指标上均优于传统提示和其他对比方法。例如，Open-Sora 1.2模型的平均视频质量指标（VQ）由3.079提升至3.254，表现出更高的清晰度和色彩饱和度。用户主观评价中，Prompt-A-Video的胜率超过80%，验证了其在实际应用中的优越性。这些成果表明，自动化的提示优化不仅提升了视频的视觉效果，也增强了模型的偏好一致性。
更重要的是，该方法为多模态内容生成提供了新的技术路径。通过结合奖励机制、演化算法和大规模语言模型，未来可以实现更智能、更个性化的内容创作平台。这不仅对影视、游戏、虚拟现实等行业具有推动作用，也为学术界提供了新的研究方向。然而，当前方法仍存在计算成本较高、泛化能力有限等问题。未来的研究将致力于提升效率、扩展场景适应性，并结合多模态信息实现更丰富的内容生成。总体而言，Prompt-A-Video代表了视频生成自动化和智能化的重要一步，预示着未来多模态内容创作的广阔前景。
深度解读
原文摘要
Text-to-video models have made remarkable advancements through optimization on high-quality text-video pairs, where the textual prompts play a pivotal role in determining quality of output videos. However, achieving the desired output often entails multiple revisions and iterative inference to refine user-provided prompts. Current automatic methods for refining prompts encounter challenges such as Modality-Inconsistency, Cost-Discrepancy, and Model-Unaware when applied to text-to-video diffusion models. To address these problem, we introduce an LLM-based prompt adaptation framework, termed as Prompt-A-Video, which excels in crafting Video-Centric, Labor-Free and Preference-Aligned prompts tailored to specific video diffusion model. Our approach involves a meticulously crafted two-stage optimization and alignment system. Initially, we conduct a reward-guided prompt evolution pipeline to automatically create optimal prompts pool and leverage them for supervised fine-tuning (SFT) of the LLM. Then multi-dimensional rewards are employed to generate pairwise data for the SFT model, followed by the direct preference optimization (DPO) algorithm to further facilitate preference alignment. Through extensive experimentation and comparative analyses, we validate the effectiveness of Prompt-A-Video across diverse generation models, highlighting its potential to push the boundaries of video generation.
参考文献 (20)
CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer
Zhuoyi Yang, Jiayan Teng, Wendi Zheng 等
Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers
Qingyan Guo, Rui Wang, Junliang Guo 等
Differential Evolution – A Simple and Efficient Heuristic for global Optimization over Continuous Spaces
R. Storn, K. Price
JADE: Adaptive Differential Evolution With Optional External Archive
Jingqiao Zhang, A. Sanderson
Optimizing Prompts for Text-to-Image Generation
Y. Hao, Zewen Chi, Li Dong 等
Dynamic Prompt Optimizing for Text-to-Image Generation
Wenyi Mo, Tianyu Zhang, Yalong Bai 等
Frozen in Time: A Joint Video and Image Encoder for End-to-End Retrieval
Max Bain, Arsha Nagrani, Gül Varol 等
CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
Wenyi Hong, Ming Ding, Wendi Zheng 等
Design Guidelines for Prompt Engineering Text-to-Image Generative Models
Vivian Liu, Lydia B. Chilton
Learning Transferable Visual Models From Natural Language Supervision
Alec Radford, Jong Wook Kim, Chris Hallacy 等
MAP: Multimodal Uncertainty-Aware Vision-Language Pre-training Model
Yatai Ji, Junjie Wang, Yuan Gong 等
DiffusionDB: A Large-scale Prompt Gallery Dataset for Text-to-Image Generative Models
Zijie J. Wang, Evan Montoya, David Munechika 等
MagicVideo: Efficient Video Generation With Latent Diffusion Models
Daquan Zhou, Weimin Wang, Hanshu Yan 等
Seeing What You Miss: Vision-Language Pre-training with Semantic Completion Learning
Yatai Ji, Rong-Cheng Tu, Jie Jiang 等
Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation
Jay Zhangjie Wu, Yixiao Ge, Xintao Wang 等
Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators
L. Khachatryan, A. Movsisyan, Vahram Tadevosyan 等
Align Your Latents: High-Resolution Video Synthesis with Latent Diffusion Models
A. Blattmann, Robin Rombach, Huan Ling 等
SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models
Shan Zhong, Zhongzhan Huang, Wushao Wen 等
被引用 (20)
Bridging Creative Intent and Visual Quality: Creator-Driven Recurrent Video Generation with Agentic Feedback Loops
Causally Steered Diffusion for Automated Video Counterfactual Generation
LINA: Learning INterventions Adaptively for Physical Alignment and Generalization in Diffusion Models
Empowering Video Translation using Multimodal Large Language Models
Goku: Flow Based Video Generative Foundation Models
FlashVideo: Flowing Fidelity to Detail for Efficient High-Resolution Video Generation
VPO: Aligning Text-to-Video Generation Models with Prompt Optimization
Seedance 1.0: Exploring the Boundaries of Video Generation Models
Otta: One-Shot Video Tuning with Temporal Adapters on Diffusion
VISTA: A Test-Time Self-Improving Video Generation Agent
Diverse Video Generation with Determinantal Point Process-Guided Policy Optimization
A Reason-then-Describe Instruction Interpreter for Controllable Video Generation
Beyond Trial-and-Error: Agentic Optimization for Image-to-Video Adherence
Talking with Actionbits—A Part-Enhanced VLM for Action and Interaction Recognition in Animals
PhyPrompt: RL-based Prompt Refinement for Physically Plausible Text-to-Video Generation
BrandFusion: A Multi-Agent Framework for Seamless Brand Integration in Text-to-Video Generation
VQQA: An Agentic Approach for Video Evaluation and Quality Improvement
P-Flow: Prompting Visual Effects Generation
When Cultures Move: Measuring and Improving Multicultural Text-to-Video Generation
Flux-OPD: On-Policy Distillation with Evolving Contexts