核心发现
方法论
本文将奖励偏置探索目标扩展至迭代后训练，结合RL目标，鼓励模型在生成中保持更大多样性。通过将EDO融入iDPO和GRPO，形成ED-iDPO和ED-GRPO两种变体，利用奖励偏置机制引导模型探索更广泛的解空间。实验证明，结合自一致性等推理技术，EDO显著提升模型在推理任务中的表现，解决了传统RL训练中分布过度收敛的问题。
关键结果
- 在三项推理基准测试中，EDO实现了1.0-1.3%的性能提升，优于最强基线。五项分布外任务中，平均提升达1.5%。模型在保持较高信息熵的同时，增强了推理多样性。实验还显示，EDO稳定了RL训练过程，有效避免过度优化崩溃，提升训练稳定性。
- 结合自一致性推理，模型的推理准确率明显提高，尤其在复杂推理任务中表现优异。多样性指标如entropy显著改善，验证了探索机制的有效性。对比传统RL方法，EDO在解决分布锐化和探索不足方面具有明显优势。
- 消融实验表明，奖励偏置和逆KL正则化共同作用，促进模型在探索和利用之间取得平衡，显著优于单一策略。多策略结合实现了更优的推理能力和泛化性能，验证了方法的广泛适用性。
研究意义
该研究突破了传统RL训练中分布锐化的瓶颈，提出了平衡探索与利用的创新框架，为大规模语言模型在推理任务中的多样性和鲁棒性提供了新的解决方案。通过引入奖励偏置机制，有效改善了模型在测试时的推理表现，推动了LLM在复杂推理和分布外任务中的应用潜力。此方法不仅提升了模型的推理能力，也增强了训练的稳定性，为未来大模型的优化提供了理论基础和实践路径。
技术贡献
本文提出的EDO框架将奖励偏置扩展至迭代RL训练，结合逆KL正则化，有效促进模型输出分布的平坦化。通过将其融入iDPO和GRPO，创新性地实现了多样性增强与推理性能提升的结合。技术上，提供了奖励偏置的理论分析和闭式解，确保优化的稳定性与可解释性。该方法在保持模型鲁棒性的同时，显著改善了探索能力，为大模型训练提供了新思路。
新颖性
本研究首次系统性引入奖励偏置机制到迭代RL训练中，旨在平衡推理中的探索与利用。与现有方法如SPO和传统RL相比，EDO强调在训练过程中主动促进输出多样性，结合逆KL正则化实现分布平坦化，解决了模型过度收敛和探索不足的问题。这一创新为大模型推理能力的提升提供了全新技术路径。
局限性
- 当前方法在极端复杂推理任务中仍存在性能瓶颈，可能受限于奖励模型的准确性和偏差。模型在高维任务空间中探索效率有限，需进一步优化奖励偏置策略。训练过程中引入逆KL正则化可能增加计算成本，且调参复杂。未来需结合更高效的探索机制和奖励模型改进，以提升在更广泛任务中的适应性。
未来方向
未来将探索多模态任务中的奖励偏置机制，结合更强的自监督信号，提升模型在多任务、多领域中的泛化能力。还计划引入动态调节的探索参数，优化训练稳定性与效率。此外，将结合元学习策略，实现更智能的探索调控，推动大模型在推理和推断中的自主学习能力。
AI 总览摘要
随着大规模语言模型（LLMs）在推理和对齐任务中的表现不断提升，训练策略的优化成为关键。传统的强化学习（RL）方法在强化模型推理能力方面取得显著成效，但存在分布锐化和探索不足的问题，限制了模型在复杂推理任务中的潜力。
本文提出探索驱动优化（EDO）框架，旨在通过奖励偏置机制促进模型输出分布的平坦化，从而增强推理多样性。该方法将奖励偏置扩展到迭代后训练中，结合逆KL正则化，鼓励模型在探索空间中更自由地移动。通过将EDO融入迭代直接偏好优化（iDPO）和组相对策略优化（GRPO），形成ED-iDPO和ED-GRPO两种变体，显著改善了模型在推理任务中的表现。
在多个推理基准测试中，结合自一致性等推理技术，EDO实现了1.0-1.3%的性能提升，五项分布外任务中平均提升达1.5%。实验还显示，EDO稳定了训练过程，避免了过度优化崩溃，增强了模型的鲁棒性。这些结果表明，奖励偏置机制不仅提升了推理多样性，也为未来大模型的探索策略提供了新思路。
总体而言，EDO为平衡探索与利用提供了有效框架，推动了大规模语言模型在复杂推理和分布外任务中的应用前景。未来工作将聚焦于多模态、多任务环境中的奖励偏置优化，以及结合元学习实现更智能的探索调控，期待在更广泛场景中实现模型的自主学习和推理能力的飞跃。
深度分析
研究背景
近年来，LLMs在推理能力和对齐技术方面取得了突破，尤其是通过强化学习（如RLHF）和后训练微调（如DPO、SPO）实现性能提升。代表性工作包括DeepSeek和OpenAI的o1模型，显著改善了数学、编程和科学推理能力。然而，训练中存在分布锐化问题，导致模型输出过于集中，限制了推理多样性。测试时的推理增强技术（如自一致性、最大投票）虽能提升性能，但未能解决训练中的探索不足，限制了模型在复杂任务中的表现。
核心问题
核心问题在于训练过程中模型输出分布趋于锐化，导致探索空间受限，影响推理多样性和泛化能力。传统RL方法倾向于收敛到高置信度解，忽视了潜在的多样解空间，限制了模型在复杂推理任务中的表现。如何在训练中平衡探索与利用，提升模型在测试时的推理能力，成为亟待解决的难题。
核心创新
本研究的创新点包括：1）引入奖励偏置机制，扩展至迭代RL训练，促进模型在训练中保持多样性；2）结合逆KL正则化，平衡探索与收敛，避免模型崩溃；3）将EDO融入iDPO和GRPO，形成两种新变体，提升推理多样性和性能。该方法在理论上提供了奖励偏置的闭式解分析，并在实践中验证了其在多任务、多场景中的有效性。
方法详解
- �� 将测试时的采样视为隐式Q函数，通过多样性采样生成候选答案。• 引入奖励偏置机制，通过在RL目标中加入逆KL正则化，鼓励模型探索未充分覆盖的解空间。• 设计奖励偏置的归一化约束，确保优化目标唯一性。• 将机制集成到iDPO和GRPO中，形成ED-iDPO和ED-GRPO，优化策略以促进探索。• 在训练中，利用偏置奖励引导模型生成多样解，并结合自一致性等推理技术提升性能。
实验设计
采用数学推理、科学推理和多任务基准，比较ED-iDPO、ED-GRPO与传统方法在准确率和多样性指标上的表现。设置不同的偏置系数和采样策略，进行消融分析。评估指标包括准确率、模型熵和分布外任务的泛化能力。实验还验证了训练稳定性和收敛性，确保方法在大规模模型中的实用性。
结果分析
EDO在三项推理基准中提升了1.0-1.3%的准确率，五项分布外任务平均提升1.5%。模型输出的熵显著增加，表明多样性增强。结合自一致性，推理性能优于对比方法，验证了探索机制的有效性。消融实验显示奖励偏置和逆KL正则化共同作用，显著改善了探索效率和训练稳定性。
应用场景
该方法适用于需要高推理多样性和鲁棒性的场景，如自动问答、科学研究辅助和复杂决策支持。结合测试时的多样性采样和偏置机制，可显著提升模型在未知任务中的泛化能力。未来可扩展到多模态任务和多任务学习，推动智能系统的自主推理与学习。
局限与展望
当前方法在极端复杂或高维推理任务中仍存在性能瓶颈，奖励模型的偏差可能影响探索效果。训练过程引入逆KL正则化增加计算成本，调参复杂。未来需优化奖励偏置策略，提升效率和泛化能力，解决大规模模型训练中的探索瓶颈。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，目标是做出既好吃又多样的菜肴。传统做法是根据食谱一步步操作，结果可能只做出几种常见菜。现在，厨师引入一种新策略：鼓励自己尝试不同的配料和做法，即使不一定保证每次都完美，但能发现更多可能性。这就像给厨师设置奖励，让他多试不同的调料组合，而不是只做熟悉的菜。这样，厨房里就会出现更多新奇的菜肴，满足不同人的口味，也让厨师变得更有创造力。这种方法在AI模型中也是一样，通过奖励机制鼓励模型探索更多答案，从而在推理任务中表现得更丰富、更可靠。
简单解释 像给14岁少年讲一样
想象你在学校里写作文，平时你总是写一些常见的内容，老师让你试试不同的写法，甚至加入一些新奇的想法。以前，你写的内容都很集中，老师说这样容易变得单调。现在，你的老师告诉你：可以多尝试不同的角度和细节，这样作文会更有趣，也更容易得到高分。这就像给你一些奖励，让你在写作中多探索不同的思路。AI模型也是一样，传统训练让它只专注于最可能的答案，但这样会让它变得单一。通过奖励机制，模型被鼓励去尝试不同的答案，变得更聪明、更有创造力。结果，它在解答复杂问题时，能提供更多样、更准确的答案，就像你的作文变得更精彩一样！
原文摘要
Post-training techniques combined with inference-time scaling significantly enhance the reasoning and alignment capabilities of large language models (LLMs). However, a fundamental tension arises: inference-time methods benefit from diverse sampling from a relatively flattened probability distribution, whereas reinforcement learning (RL)-based post-training inherently sharpens these distributions. To address this, we propose Exploration-Driven Optimization (EDO), which extends reward-biasing style exploration objectives to iterative post-training and integrates them into standard RL objectives, encouraging greater diversity in sampled solutions while facilitating more effective inference-time computation. We incorporate EDO into iterative Direct Preference Optimization (iDPO) and Group Relative Policy Optimization (GRPO), resulting in two variants: ED-iDPO and ED-GRPO. Extensive experiments demonstrate that both ED-iDPO and ED-GRPO exhibit greater solution diversity and improved reasoning abilities, particularly when combined with test-time computation techniques like self-consistency. Across three in-distribution reasoning benchmarks, EDO achieves a 1.0-1.3\% improvement over the strongest baselines, and delivers an additional 1.5\% average gain on five out-of-distribution tasks. Beyond accuracy, EDO preserves model entropy and stabilizes RL training dynamics, highlighting its effectiveness in preventing over-optimization collapse. Taken together, these results establish EDO as a practical framework for balancing exploration and exploitation in LLM reasoning, especially in settings that rely on test-time scaling.