核心发现
方法论
本文构建了VAPref-10K大规模偏好数据集，结合多模态结构化推理模型VA-Judger，通过逐步学习、偏好解释蒸馏和维度强化学习，实现对联合视频音频生成的偏好建模。模型首先在明确质量差异的样本上进行冷启动训练，然后利用人类验证的硬样本进行拒绝采样，最后采用GRPO（梯度裁剪策略优化）对人类偏好进行多维度细粒度优化。该方法充分利用人类偏好信息，避免指标偏差带来的reward hacking问题。
关键结果
- VA-Judger在预测人类偏好方面优于传统指标，在in-domain和out-of-domain测试中准确率分别达到65.91%和62.35%，明显优于VideoAlign、AudioBox等单一指标，验证其优越的偏好一致性。
- 基于VA-Judger的奖励模型对LTX-2模型进行后训练，显著提升生成内容的整体质量，用户主观评价得分提升约15%，在多模态同步和语义一致性方面表现优异。
- 通过维度化强化学习，模型能细粒度区分视觉、音频、同步和语义等多个质量维度，提供更丰富的奖励信号，增强模型的偏好匹配能力。
研究意义
该研究突破了多模态联合生成中偏好建模的瓶颈，首次提出面向视频音频的链式推理奖励模型，有效缓解指标偏差和reward hacking问题，推动生成模型向更符合人类感知的方向发展。其构建的偏好数据集和评估基准，为未来多模态生成的偏好对齐提供了重要工具，具有深远的学术和应用价值。
技术贡献
技术创新主要体现在：一是提出结构化偏好推理的链式模型VA-Judger，结合偏好解释蒸馏和拒绝采样，增强偏好理解能力；二是引入多维度强化学习（GRPO）机制，将人类偏好细化到多个质量维度，提供密集奖励信号；三是构建VAPref-10K偏好数据集和VA-Judger-Bench评估基准，系统验证模型偏好对齐效果。该方法在多模态内容生成中实现偏好导向的优化突破。
新颖性
本研究首次针对联合视频音频生成提出偏好模型，突破单模态偏好限制，采用链式推理与多维强化学习相结合的创新策略，显著提升偏好预测准确率，填补多模态偏好建模的空白。相比以往仅依赖指标的评价体系，VA-Judger实现了更贴近人类感知的偏好对齐，具有开创性。
局限性
- 模型对极端复杂场景或极细微差异的偏好判断仍存在偏差，受限于偏好数据的标注质量和样本多样性。
- 训练过程依赖大量人类验证，计算成本较高，难以快速扩展到更大规模或实时应用场景。
- 当前模型主要在特定数据集和模型架构上验证，泛化能力和跨域适应性仍需进一步验证。
未来方向
未来将探索更高效的偏好数据采集方法，结合自监督学习提升模型泛化能力，扩展偏好模型到更多多模态任务。同时，结合生成模型的可控性和解释性，优化偏好引导的生成流程，推动多模态内容生成的实际应用落地。
AI 总览摘要
随着多模态生成技术的发展，联合视频音频内容的质量评估成为核心难题。传统指标如VideoAlign和AudioBox虽能反映部分内容质量，但难以全面捕捉文本、视频、音频间的语义和时间一致性，导致优化偏差和reward hacking问题。本文提出VA-Judger，一种基于人类偏好反馈的链式推理奖励模型，结合偏好解释蒸馏和多维强化学习，有效改善偏好对齐。通过构建VAPref-10K偏好数据集和VA-Judger-Bench评估基准，验证了模型在多场景中的优越表现。实验结果显示，VA-Judger在偏好预测准确率上优于单一指标，且在后训练中显著提升生成内容的主观质量。该方法不仅为多模态内容生成提供了新的偏好导向工具，也为未来多模态偏好建模和内容优化奠定基础。尽管如此，模型在极端复杂场景下仍面临挑战，未来将结合更高效的数据采集和自监督技术，推动多模态生成的偏好对齐迈向更高水平。
深度分析
研究背景
多模态生成技术已从单一视觉内容扩展到同步音频，代表性工作包括OpenAI的Multimodal Models、Google DeepMind的VALL-E等。早期主要关注单模态质量指标，随着内容复杂度提升，跨模态一致性成为新挑战。现有方法如VideoAlign、CLIP Score等虽能反映部分内容，但无法全面捕捉文本、视频、音频的语义和时间关系，导致偏好优化偏离人类感知。近年来，偏好学习在文本和图像生成中取得突破，但在联合视频音频方面仍空白。
核心问题
当前多模态生成模型多依赖指标评价，缺乏符合人类偏好的偏好模型，导致优化目标偏离用户感知。指标偏差引发reward hacking，模型可能在指标上表现优异，但实际内容不自然或不连贯。偏好反馈的获取难度大，缺乏系统性偏好数据，难以实现偏好对齐。此外，单一模态偏好模型无法捕捉跨模态交互的复杂性，限制了内容的真实感和一致性。
核心创新
本研究的核心创新包括：1）提出链式推理的偏好模型VA-Judger，结合偏好解释蒸馏和拒绝采样，增强偏好理解；2）引入多维度强化学习（GRPO），将偏好细化到视觉、音频、同步和语义等多个维度，提供密集奖励；3）构建VAPref-10K偏好数据集和VA-Judger-Bench评估基准，系统验证偏好模型的有效性。这些创新突破了单模态偏好限制，推动多模态偏好建模的研究。
方法详解
- �� 构建VAPref-10K偏好数据集，采集来自真实视频的多模态片段，利用多模型生成对比，标注偏好及偏好理由。
- �� 设计VA-Judger模型，采用结构化链式推理，输出多维评分和偏好解释。
- �� 逐步训练：首先在明显差异样本上进行冷启动学习，建立偏好判断基础；然后用人类验证的硬样本进行拒绝采样，强化偏好理解；最后采用GRPO进行多维强化学习，优化偏好对齐。
- �� 在训练过程中，结合偏好解释蒸馏和人类偏好验证，确保模型学习到符合人类感知的偏好判断。
- �� 利用偏好模型对后训练生成模型进行优化，提升内容质量和一致性。
实验设计
采用VAPref-10K数据集进行偏好模型训练，评估指标包括偏好预测准确率和内容生成质量。对比单一指标和偏好模型的偏好预测效果，验证模型偏好对齐能力。在多场景中测试模型的泛化能力，包括in-domain和out-of-domain模型输出。使用偏好奖励对LTX-2模型进行后训练，评估生成内容的主观感知提升。设置不同偏好难度级别，进行消融分析，验证多维强化学习的贡献。
结果分析
VA-Judger在偏好预测中达到了65.91%的整体准确率，优于VideoAlign和AudioBox指标，特别是在out-of-domain测试中表现稳健。基于VA-Judger的奖励模型提升了LTX-2生成内容的主观评分，提升幅度达15%以上。多维度强化学习使模型能区分视觉、音频、同步和语义等多个方面，提供更细粒度的优化信号，显著改善内容连贯性和符合度。这些结果验证了偏好模型在多模态生成中的有效性和优越性。
应用场景
该偏好模型可广泛应用于多模态内容生成的后训练环节，提升生成内容的用户感知质量。可用于视频编辑、虚拟主播、内容推荐等场景，帮助模型更贴近用户偏好。未来结合交互式偏好反馈，实现个性化内容定制，推动多模态生成技术的商业化落地。
局限与展望
模型在极端复杂或细微差异场景下仍存在偏差，偏好数据的主观性和标注成本较高，限制了大规模推广。训练过程计算成本较大，难以实现实时优化。模型泛化能力在未见过的场景和模型上仍需验证，未来需结合自监督学习和更高效的数据采集策略。
通俗解读 非专业人士也能看懂
想象你在一家厨房做饭，食材、调料和烹饪步骤都要配合得当才能做出美味佳肴。现在，视频和音频就像是厨房里的不同食材，只有它们协调一致，味道才会好。过去，我们用一些评分标准，比如颜色鲜不鲜亮、声音清不清楚，但这些标准都像只看食材的颜色，没有考虑整体味道。本文提出一种新方法，像是请一位厨师根据整体味道偏好打分，不仅看食材，还考虑味道、香气和摆盘。通过学习人们的偏好，这个“厨师”能帮我们调配出更符合大家口味的内容，让视频和音频像一道完美的菜肴一样，令人满意。
简单解释 像给14岁少年讲一样
想象你在看一部电影，里面的画面和声音要配合得刚刚好，才能让你觉得真实又好玩。以前，评判电影好坏的方法就像用尺子量颜色亮不亮，声音清不清楚，但这并不能完全反映你是不是喜欢。现在，有个聪明的“电影评委”可以听你说喜欢哪个片段，然后告诉你为什么喜欢，甚至帮你改进电影，让它更符合你的口味。这种方法就像是让评委学会理解你喜欢的细节，比如画面是不是清晰，声音是不是自然，故事是不是连贯。通过不断学习你的偏好，这个评委可以帮电影制作变得更贴近观众的心意，让你看得更开心。
原文摘要
Using reinforcement learning to post-train joint video-audio generation models requires a reward signal. Existing methods construct this reward by combining metrics for individual quality dimensions, including audio quality, visual fidelity, and synchronization. However, these metrics evaluate perceptual dimensions separately and fail to capture the overall semantic and temporal coherence among the text prompt, video, and audio that shapes human preferences. Optimizing models against these metrics encourages reward hacking, generating video-audio content that achieves high scores on these metrics yet appears incoherent or unfaithful to human viewers. To address this problem, we first construct a large-scale human-preference dataset VAPref-10K for joint video-audio generation, comprising 9K prompts and 10.3K fine-grained paired comparisons from open-source generation models. We also introduce the VA-Judger-Bench benchmark with both in-domain and out-of-domain model comparisons to evaluate whether reward models truly align with human preferences. We further propose VA-Judger, a chain-of-thought omni-reward model for joint video-audio generation. In particular, VA-Judger first learns from pairs with clear quality gaps to establish structured output and coarse preference discrimination, then distills reliable preference explanations for harder near-quality comparisons via rejection sampling verified against human annotations, and finally performs dimension-wise reinforcement learning that decomposes human feedback into individual quality dimensions for denser reward signals than a single binary preference label. Experiments show that VA-Judger outperforms metric baselines in predicting human preferences on both in-domain and out-of-domain evaluations. Using its human-aligned rewards for post-training audio-video generation model also yields significant improvements in generation quality.