核心发现
方法论
本文提出EntRGi机制，通过动态插值模型预测的熵值，调节连续软表示与硬采样的比例，实现对离散扩散语言模型的奖励引导。具体包括在每个解码步骤中，根据预测熵调整输入的软硬程度，确保梯度流的可靠性与奖励模型的准确性。结合粒子过滤和梯度反向传播，优化模型生成路径。实验中在7B参数模型上验证，涵盖测试时适应和后训练强化学习两场景，显著优于现有APS方法。核心算法包括EntRGi的熵调节机制和RGRL的奖励引导微调流程。
关键结果
- 在7B参数模型上，EntRGi在Reward-Bench-2、JudgeBench和RM-Bench上的Top@1奖励分别提升约10%、8%、12%，相较于APS方法实现33%的相对性能提升。
- 在高温采样（τ=0.7）条件下，EntRGi表现尤为优越，平均奖励提升超过15%，显著优于传统方法。后训练中，结合RGRL策略，模型在多任务多奖励模型环境中实现70%的相对性能提升。
- 消融实验显示，熵调节参数w的自适应调整是性能提升的关键，避免了高熵位置梯度不可靠的问题，同时保持奖励模型的稳定性。
研究意义
该研究突破了离散扩散模型奖励引导的瓶颈，首次利用模型不确定性进行动态梯度调节，有效平衡梯度准确性与奖励模型的可靠性。为自然语言生成提供了更稳健的微调和后训练途径，推动了基于奖励的自监督学习在大规模离散模型中的应用。其方法可广泛应用于任务导向对话、内容生成等领域，具有重要的学术与工业价值。
技术贡献
本文提出EntRGi机制，通过熵调节实现连续与离散表示的动态平衡，解决梯度传播中的分布偏差问题。结合粒子采样和梯度反向，创新性地在离散扩散模型中引入奖励引导。提出的RGRL后训练策略，利用奖励梯度生成样本并微调模型，显著优于传统RL方法。理论上，提供了梯度可靠性与奖励模型一致性的保证，为未来离散生成模型的奖励引导提供新思路。
新颖性
首次将模型预测熵作为调节因子，动态调节离散扩散模型中软硬表示的比例，解决梯度不可靠与奖励模型偏离的问题。不同于APS的固定硬采样或期望输入，EntRGi实现了自适应平衡，显著提升了奖励引导的效果。这一机制在离散生成模型中尚属首次探索，填补了该领域的空白。
局限性
- 该方法依赖于准确估计模型预测熵，对于极端高熵状态可能仍存在梯度不稳定的问题。
- 在极大规模模型或复杂任务中，计算成本较高，尤其是在多次梯度更新时。
- 对不同奖励模型的适应性尚需验证，特别是在奖励模型训练偏差较大时的表现。
未来方向
未来将探索多模态任务中的奖励引导机制，结合更高效的熵估计与采样策略，降低计算成本。同时，研究如何在多任务、多奖励环境中动态调节参数，提升模型泛化能力。此外，结合强化学习与自监督微调，推动奖励引导在实际应用中的落地。
AI 总览摘要
随着深度学习模型规模的不断扩大，如何有效引导模型生成符合预期目标的内容成为研究焦点。传统的奖励指导方法在连续扩散模型中表现优异，但在离散语言模型中面临梯度传播受阻的问题。本文提出Entropy-aware Reward Guidance（EntRGi），利用模型预测的熵值动态调节软硬表示比例，确保梯度的可靠性与奖励模型的准确性。该机制在每个解码步骤中，根据预测熵调整输入的软硬程度，结合粒子采样和梯度反向，优化生成路径。实验在7B参数模型上验证，涵盖测试时适应和后训练强化学习两场景，结果显示EntRGi显著优于现有APS方法，提升奖励性能达33%以上。特别是在高温采样条件下，性能优势更为明显。该方法不仅解决了离散扩散模型奖励引导中的核心难题，也为未来大规模离散生成模型的微调和强化学习提供了新思路。其在多任务、多奖励环境中的潜力巨大，有望推动自然语言处理领域的内容生成、对话系统等应用迈向更高水平。
深度分析
研究背景
近年来，扩散模型在生成任务中展现出优异表现，尤其在连续空间中实现了高质量内容生成（Dhariwal和Nichol，2021）。在自然语言处理领域，离散扩散模型作为非自回归生成的替代方案，逐渐受到关注（Lou等，2024）。然而，如何在生成过程中引入奖励信号，提升模型的任务适应性，仍是难点。现有方法如粒子过滤和强化学习（Zhao等，2025）虽取得一定成果，但在梯度传播和奖励模型一致性方面存在瓶颈。APS方法通过硬采样结合直通估计缓解部分问题，但仍面临梯度偏差和奖励偏离的挑战。整体来看，离散扩散模型的奖励引导尚处于探索阶段，亟需更有效的机制解决梯度不稳定与奖励模型偏差问题。
核心问题
核心问题在于离散扩散模型输出的不可微特性，导致难以直接通过梯度优化奖励目标。当前方法在软表示与硬采样之间存在权衡：软表示虽保证梯度流畅，但偏离训练奖励模型的分布；硬采样虽符合模型训练分布，但梯度估计不准确。这种矛盾限制了奖励引导的效果，尤其在高熵状态下，梯度不可靠严重影响模型性能。解决这一问题对于实现更精细的内容控制和任务适应具有重要意义。
核心创新
本研究的创新点在于引入基于预测熵的动态插值机制（EntRGi），通过调节软硬表示比例，兼顾梯度可靠性与奖励模型的适应性。具体包括：
- �� 利用模型预测的每个位置的熵值，动态调整输入的软硬程度。
- �� 设计熵调节参数，使得在模型置信时偏向软表示，增强梯度流；在不确定时偏向硬采样，确保奖励模型的输入合理。
- �� 结合粒子采样和梯度反向，优化生成路径，提升奖励引导效果。
- �� 在后训练中，提出RGRL策略，通过奖励梯度生成样本并微调模型，实现性能大幅提升。这些创新突破了梯度传播与奖励模型偏离的瓶颈，为离散生成模型的奖励引导提供新思路。
方法详解
- �� 初始化全掩码序列，逐步反向解码，利用模型输出的概率分布选择位置。
- �� 在每个时间步，根据预测熵调整软硬输入比例，计算熵调节系数w。
- �� 生成软表示（elsoft）和硬采样（elhard），通过熵调节参数w进行线性插值（Eq. 2）。
- �� 计算输入的梯度敏感的奖励模型输入（elEntRGi），在每个位置进行梯度上升。
- �� 通过梯度更新模型的logits，优化奖励目标。
- �� 在每个步骤中，选择部分位置进行采样，其他位置保持掩码状态，逐步逼近目标序列。
- �� 最终输出奖励引导的序列，用于微调或后训练。整个流程结合粒子采样、熵调节和梯度反向，确保模型在奖励引导下的稳定优化。
实验设计
采用Dream-v0-Instruct-7B和LLaDA-8B模型，使用Skywork奖励模型在Reward-Bench-2、JudgeBench和RM-Bench等数据集上进行测试。评估指标包括Top@1奖励和平均奖励，比较基线包括BoN、Expectation和APS。通过不同温度（τ=0.1和0.7）调节采样多样性，验证EntRGi在奖励性能、泛化能力和稳定性方面的优势。实验还包括消融分析，验证熵调节参数w的自适应调节效果。后训练策略采用奖励引导微调，验证在多任务环境中的性能提升。所有实验均在GPU集群上进行，确保结果的可靠性和可复现性。
结果分析
EntRGi在Reward-Bench-2、JudgeBench和RM-Bench上的Top@1奖励分别提升10%、8%、12%，优于APS和Expectation方法。在高温采样（τ=0.7）下，奖励提升超过15%，表现尤为突出。消融实验显示，熵调节参数w的自适应调整显著改善了梯度稳定性和奖励模型的输入合理性。后训练中，结合奖励引导微调，模型性能提升达70%以上，验证了方法的有效性和实用性。
应用场景
该机制适用于内容生成、对话系统、任务导向的自然语言处理场景，尤其在需要模型自主调节生成目标的任务中表现优异。实现条件包括预训练的离散扩散模型和奖励模型的配合，适合在工业环境中进行微调和后训练，提升模型的任务适应性和内容控制能力。未来有望结合多模态信息，拓展到图像、视频等多媒体生成。
局限与展望
当前方法依赖于准确的熵估计，模型在极端高熵状态下仍可能出现梯度不稳定。计算成本较高，尤其在多轮梯度更新时，资源消耗大。此外，奖励模型的偏差和训练偏离可能影响引导效果，未来需优化熵估计和采样策略，降低成本并增强鲁棒性。
通俗解读 非专业人士也能看懂
想象你在做一道复杂的菜肴，厨师需要不断调整火候和调料的用量，确保菜肴既不过熟也不过生。这里，模型就像厨师，奖励就像味道评分，熵就像对火候的判断。EntRGi机制根据“味道”变化，动态调整火候，确保每一步都朝着更好吃的方向努力。软表示就像用温和的火，硬采样像用大火快炒，模型根据当前的“味道”判断用哪种方式。这样，菜肴最终变得既美味又稳定。这个机制让模型在生成内容时，既能追求高质量，又能保证过程的稳定性，就像厨师不断调整火候，做出最棒的菜一样。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，你的目标是做出最棒的角色扮演。每次你都可以选择不同的动作，但有时候你不确定哪个动作会带来好结果。这个系统就像一个聪明的朋友，会告诉你：如果你不确定，就用更安全的动作；如果很有把握，就用更激进的动作。它会根据你的信心（熵）来调整建议，确保你既能赢得比赛，又不轻易失败。这个方法让你在游戏中不断学习，变得更厉害。模型也是一样，它会根据自己对每个词的信心，选择更稳妥或更冒险的方式，最终生成更符合目标的内容。就像你在游戏中不断调整策略，变得越来越厉害！
原文摘要
Reward guidance, also known as posterior sampling, is a popular method for test-time adaptation and post-training in continuous diffusion models. In this paper, we study reward guidance for discrete diffusion language models; now, one cannot differentiate through the natural outputs of the model because they are discrete tokens. We introduce a novel mechanism called EntRGi (Entropy aware Reward Guidance) to address this issue. EntRGi dynamically interpolates between continuous token relaxations and sampled hard tokens, on a token-by-token basis, using the diffusion model's predictive entropy. We demonstrate that EntRGi maintains both reward model reliability and optimization accuracy, while existing approaches sacrifice one for the other. We empirically validate our approach on 7B-parameter diffusion language models across two settings: (1) test-time adaptation, and (2) RGRL (Reward Guided Reinforcement Learning), our recipe for post-training on reward-guided data, showing consistent improvements over state-of-the-art methods. Our code is available at https://atutej.github.io/entrgi-rgrl