核心发现
方法论
本文提出的SG-OPD结合二值验证器作为信任信号，利用阶段性教师采样（PTS）缓解冷启动时的轨迹偏差，并引入符号一致性门控（sign-consistency gate）在逐词层面调节教师偏好与验证器一致性。具体机制包括：在训练早期引入验证器认可的教师轨迹，逐步减弱；同时，利用符号门控对每个词元的优势进行路由，增强可信信号的传播。算法结合了逆KL目标、优势估计和多层次信号调节，确保在复杂推理任务中稳健提升学生模型性能。
关键结果
- 在数学推理基准上，SG-OPD在平均准确率（avg@32）达到29.53，比标准OPD提升1.98，超越ExOPD的提升幅度为1.54，且在pass@32指标上提升7.50，达59.17。特别在AIME系列任务中，AIME25提升5.00，AIME24提升2.39，显示出其在高难度任务中的优势。
- 通过消融实验验证，符号一致性门控扩大了安全的推理增强范围，使λ参数从1.25提升至1.8时性能稳步上升，显著优于均匀外推策略。阶段性采样（PTS）有效缓解冷启动时的偏差，结合两机制实现性能的叠加提升。
- 训练过程中，SG-OPD在保持较高策略熵的同时，获得最高训练奖励，表明其在探索与利用之间取得良好平衡，模型表现更稳健。对比传统方法，显著减少了推理错误和训练不稳定性。
研究意义
该研究突破了传统知识蒸馏在复杂推理任务中的局限，提出的多层次信号调节机制显著提升了模型的推理能力和训练稳定性，为大规模语言模型的高效压缩和应用提供了新路径。尤其在数学、逻辑推理等领域，SG-OPD展现出优异的性能，有望推动智能系统在教育、科研等行业的深度应用。
技术贡献
技术创新主要体现在：一是引入二值验证器作为教师信任信号，增强轨迹和词元层面的信号鲁棒性；二是结合阶段性采样策略，有效缓解冷启动偏差；三是提出符号一致性门控，动态调节教师偏好与验证器信号的匹配程度，提升模型训练的稳定性和泛化能力。这些机制共同推动了基于策略梯度的知识蒸馏技术向更稳健、更高效的方向发展。
新颖性
本研究首次系统性引入符号一致性门控机制结合阶段性采样，解决了在复杂推理任务中轨迹偏差和词元偏差的问题。相较于以往仅依赖全局参数调节或单一信号的蒸馏方法，SG-OPD通过多层次信号调节实现了更细粒度的信任控制，显著提升了训练效果和模型性能。
局限性
- 该方法在极端复杂或噪声极高的任务中可能仍受限于验证器的准确性，验证器误判会影响信任信号的有效性。
- 引入多机制增加了训练复杂度和调参难度，尤其在大规模模型中，计算成本较高。
- 当前实验主要在数学推理任务上验证，泛化到其他自然语言理解任务仍需进一步验证。
未来方向
未来可探索多模态验证机制，结合图像或结构化数据增强信任信号；同时优化算法以降低计算成本，提升大规模模型的适应性。此外，结合自监督信号和强化学习策略，进一步增强模型推理和泛化能力，为实际应用提供更强保障。
AI 总览摘要
在当前人工智能快速发展的背景下，深度学习模型尤其是大型语言模型展现出卓越的推理和理解能力，但其训练成本高昂且易受偏差影响。传统的知识蒸馏方法在复杂推理任务中存在轨迹偏差和偏好不一致的问题，限制了模型性能的提升。为此，本文提出了SG-OPD（Sign-Gated On-Policy Distillation），通过引入二值验证器作为信任信号，结合阶段性教师采样（PTS）缓解冷启动偏差，并利用符号一致性门控在逐词层面调节教师偏好与验证器信号的匹配，从而实现更稳健的知识蒸馏。该机制在数学推理基准上表现优异，平均提升近2个百分点，且在高难度任务中表现出更强的鲁棒性。实验结果显示，SG-OPD不仅提升了模型的推理准确率，还增强了训练的稳定性和探索能力，为未来大规模模型的高效压缩和应用提供了新思路。该方法的创新点在于多层次信号调节的结合，突破了传统单一信号依赖的局限，推动了知识蒸馏技术向更精细化和鲁棒性方向发展。未来，结合多模态验证和自监督信号，有望进一步拓展其应用范围，助力智能系统在教育、科研等多个行业实现更大突破。
深度分析
研究背景
近年来，深度学习模型在自然语言处理、数学推理等领域取得巨大突破，代表性工作如GPT系列、PaLM等展现出强大推理能力。知识蒸馏作为模型压缩和性能提升的重要手段，逐渐成为研究热点。早期方法如Hinton等提出的软目标蒸馏，主要依赖教师模型的输出概率，后续发展出序列级和逐词级蒸馏技术。近年来，强化学习结合逆KL目标（如Lu和Lab的OPD）被引入，提升了模型在生成质量上的表现。然而，这些方法在复杂推理任务中仍面临轨迹偏差、偏好不一致等瓶颈，限制了其性能提升空间。尽管如此，结合验证器和信号调节的多机制策略逐渐成为研究新趋势，为模型的稳健性和泛化能力提供新思路。
核心问题
当前的知识蒸馏技术在复杂推理任务中表现有限，主要源于两个问题：一是轨迹级别的偏差，学生模型在冷启动阶段难以生成与教师轨迹一致的输出，导致逆KL信号噪声大，影响学习效果；二是逐词偏好不一致，即使整体轨迹正确，教师在某些词元上的偏好可能与验证器判定的正确方向相悖，导致信号冲突，影响模型的稳定训练。这两个问题共同制约了模型在数学推理等高难度任务中的表现，亟需新的机制进行缓解。
核心创新
本文的核心创新在于：一是引入二值验证器作为信任信号，结合阶段性采样策略（PTS）在训练早期引入验证器认可的教师轨迹，缓解冷启动偏差；二是在逐词层面引入符号一致性门控，根据验证器与逆KL优势符号的匹配情况动态调节教师偏好，增强信号的鲁棒性；三是结合多层次信号调节机制，形成端到端的训练框架，有效提升推理性能和训练稳定性。这些创新突破了传统单一信号依赖的局限，为复杂任务中的知识蒸馏提供了新思路。
方法详解
- �� 采用二值验证器作为信任信号，判断教师轨迹的正确性；
- �� 在训练初期引入阶段性采样（PTS），采样比例逐步减小，确保学生在冷启动阶段获得可靠的教师轨迹；
- �� 利用符号一致性门控（gt）判断逆KL优势（a2）与验证器优势（a1）是否符号一致，动态调节每个词元的梯度贡献；
- �� 在符号一致时，采用增强的外推（λ高）策略放大信号；在冲突时，采用软化插值（β）策略减弱偏差；
- �� 结合优势估计、策略梯度裁剪和信号调节，优化整体训练目标，确保模型在复杂推理任务中的稳健性。
实验设计
实验采用DeepMath-103K数据集，训练Qwen3-1.7B学生模型，教师为Qwen3-4B，评估在AIME24、AIME25、HMMT25-Feb、HMMT25-Nov等数学推理基准上。对比基线包括OPD、ExOPD和传统蒸馏方法，指标涵盖avg@32和pass@32。超参数包括λ（外推强度）、采样比例ρ、阶段性调度参数α等。通过消融实验验证机制的贡献，调节λ高、β值，观察性能变化。结果显示，SG-OPD在所有指标上均优于基线，尤其在高难度任务中表现出更强的鲁棒性和探索能力。
结果分析
SG-OPD在平均准确率（avg@32）达到29.53，较OPD提升1.98，超越ExOPD的1.54，pass@32指标提升7.50，达59.17。AIME25任务提升5.00，AIME24提升2.39，验证了其在高难度推理中的优势。消融实验显示，符号一致性门控扩大了安全外推范围，使λ参数从1.25提升至1.8时性能显著改善。阶段性采样缓解了冷启动偏差，机制叠加带来性能叠加提升。训练过程中，模型保持较高策略熵，探索能力强，训练更稳定。整体而言，SG-OPD在复杂推理任务中实现了性能的突破。
应用场景
该方法适用于需要高精度推理的AI系统，如智能教育、自动化科研、法律分析等。通过模型压缩和知识蒸馏，能在有限计算资源下实现高性能推理，提升实际应用效率。未来，结合多模态验证和自监督信号，有望在更广泛的任务中实现稳健推理和泛化能力的提升，为行业带来深远变革。
局限与展望
当前方法依赖验证器的准确性，验证器误判会影响信任信号的有效性。机制引入的多层次调节增加了训练复杂度和调参难度，计算成本较高。实验主要集中在数学推理任务，泛化到其他自然语言理解任务仍需验证。未来需优化验证器性能，降低计算负担，并扩展到多任务场景。
通俗解读 非专业人士也能看懂
想象你在一个工厂里工作，工厂里有很多不同的机器（模型），每台机器都在做不同的任务。大机器（教师模型）非常厉害，但太大太慢，不能用在所有场合。于是，你想让一台小机器（学生模型）学会大机器的技能。以前的方法就像让小机器模仿大机器的每一步，但有时候大机器的指令不够准确，或者小机器还不够聪明，容易出错。现在，这个新方法像是给小机器一个“信任标签”，告诉它哪些指令是可靠的，哪些可能不靠谱。工厂还会在一开始让小机器多听大机器的指令，等它慢慢学会后，再自己尝试。这样，小机器既能学到大机器的好东西，又不会被错误指令带偏。最终，这个方法让小机器变得更聪明、更可靠，能在复杂任务中表现得更好，比如解数学题、理解逻辑等。它就像是给工厂里的工人装上了“聪明的指南针”，让他们在工作中少走弯路，效率更高。
简单解释 像给14岁少年讲一样
想象你在学校里学数学，老师（大模型）非常厉害，但每次考试都很难，学起来也很慢。你希望用更小的学习伙伴（小模型）帮你练习，但直接模仿老师有时候会学错。于是，老师会告诉你哪些题目你做得对，哪些题目可能有问题。这个新方法就像是给你一个“信任标志”，告诉你哪些老师的建议是真的可靠，哪些可能要小心。刚开始，你会多听老师的建议，慢慢地你就能自己做题了。每次你做题时，这个“信任标志”会帮你判断哪些答案可以相信，哪些还需要再检查。这样，你学得更快，也更少出错。最终，你变得更聪明，能解决更难的问题，比如复杂的数学题或逻辑推理。这就像是给你装上了一个聪明的指南针，让你在学习中少走弯路，变得更厉害。
原文摘要
On-policy distillation (OPD) trains a student on its own trajectories with dense per-token supervision from a stronger teacher, and often outperforms off-policy distillation and standard reinforcement learning. However, we find that its effectiveness implicitly relies on two assumptions that frequently break in practice: trajectory-level alignment between the student and the teacher, and uniform token-level reliability of the teacher's preferences. We therefore propose Sign-Gated On-Policy Distillation (SG-OPD), which uses a binary verifier as a trust signal for the teacher at two complementary granularities: phased teacher sampling mixes in verifier-endorsed teacher rollouts at cold-start, and a sign-consistency gate extrapolates the distillation update on tokens where the teacher agrees with the verifier-correct direction and interpolates it where it disagrees. Experiments on competition-level mathematical reasoning benchmarks show that SG-OPD consistently outperforms standard OPD, with average gains of 1.98 and 7.50 at the per-sample and per-question levels, respectively.
参考文献 (15)
Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation
Wenkai Yang, Weijie Liu, Ruobing Xie 等
On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting
Wenhao Zhang, Yuexiang Xie, Yuchang Sun 等
DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
Zhihong Shao, Peiyi Wang, Qihao Zhu 等
Asymmetric On-Policy Distillation: Bridging Exploitation and Imitation at the Token Level
Nan Jia, Haojin Yang, Xing-Chen Ma 等
Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe
Yaxuan Li, Yu-Xin Zuo, Bingxiang He 等
Video-OPD: Efficient Post-Training of Multimodal Large Language Models for Temporal Video Grounding via On-Policy Distillation
Jiaze Li, Hao Yin, Haoran Xu 等
DeepMath-103K: A Large-Scale, Challenging, Decontaminated, and Verifiable Mathematical Dataset for Advancing Reasoning
Zhiwei He, Tian Liang, Jiahao Xu 等
HybridFlow: A Flexible and Efficient RLHF Framework
Guangming Sheng, Chi Zhang, Zilingfeng Ye 等
Efficient Memory Management for Large Language Model Serving with PagedAttention
Woosuk Kwon, Zhuohan Li, Siyuan Zhuang 等
On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes
Rishabh Agarwal, Nino Vieillard, Yongchao Zhou 等
Proximal Policy Optimization Algorithms
John Schulman, Filip Wolski, Prafulla Dhariwal 等
Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks
Samy Bengio, O. Vinyals, N. Jaitly 等
Distilling the Knowledge in a Neural Network
Geoffrey E. Hinton, O. Vinyals, J. Dean
被引用 (8)
When Teacher Guidance Misleads: Reward-Aligned On-Policy Distillation
On-policy Distillation with Verifiable Reward
Beyond Teacher Likelihood: Group-Calibrated On-Policy Distillation for Long-Context Reasoning
Trust Is Not Enough: Influence Calibration for On-Policy Self-Distillation in Agentic RL
REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation
Simple-OPD: Demystifying Warm-up for On-policy Distillation
Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models
Blockwise Policy-Drift Gating for On-Policy Distillation