核心发现
方法论
本文将OPD视为一种特殊的密集KL约束强化学习（RL）形式，提出引入灵活参考模型和奖励缩放因子的G-OPD框架。通过调整奖励权重（λ），实现奖励插值与外推，利用不同参考模型优化学生性能。实验涵盖数学推理与代码生成任务，验证奖励外推（λ>1）可超越教师性能，特别在多教师融合和强到弱蒸馏中表现优异。
关键结果
- 在数学推理和代码生成任务中，奖励外推（ExOPD）显著优于标准OPD，提升准确率达5-10%。在多教师融合场景中，学生模型超越所有领域教师，表现出超越教师性能的能力。强到弱蒸馏中，利用教师预训练模型作为参考模型，奖励校正进一步提升蒸馏效果，平均提升约3-5%。
- 奖励外推（λ>1）使学生模型在多个任务中实现性能突破，部分场景中超越教师模型，验证了奖励外推的有效性。多任务融合实验中，学生模型在数学和编程任务中均超越单一教师，显示出知识整合优势。
- 奖励校正结合预训练教师模型，显著改善弱模型蒸馏效果，验证了参考模型选择的重要性，为未来多源知识融合提供新思路。
研究意义
该研究突破了传统知识蒸馏的限制，通过奖励外推实现模型性能超越教师，为大模型的优化提供新策略。其理论基础连接强化学习与知识蒸馏，推动多任务、多源知识融合技术发展。应用前景广泛，特别适用于模型微调、跨领域知识迁移及多模型融合，具有重要的学术和工业价值，有望引领下一代智能系统的构建。
技术贡献
提出G-OPD框架，扩展了标准OPD的理论基础，加入奖励缩放因子λ，实现奖励插值与外推。通过引入灵活参考模型，增强了模型的适应性和泛化能力。理论分析证明奖励外推（λ>1）可突破教师性能边界，实验验证其在多任务、多源融合中的优越性。该方法结合强化学习的密集奖励机制，为大规模模型训练提供新思路，推动知识蒸馏技术向更高层次发展。
新颖性
首次系统性提出奖励外推（λ>1）策略，突破传统蒸馏性能限制，实现超越教师的模型能力。引入灵活参考模型和奖励缩放机制，丰富了知识蒸馏的理论框架。区别于现有的单一奖励或固定参考模型方法，本研究实现了奖励权重的动态调节，为多源知识融合提供新途径，具有显著创新性。
局限性
- 奖励外推（λ>1）可能引入训练不稳定性，需精细调参以避免模型发散。
- 参考模型的选择（如教师预训练模型）增加了计算成本，限制了大规模应用。
- 在某些任务中，奖励外推可能导致过拟合或性能波动，需结合正则化策略进行调控。
未来方向
未来将探索自适应奖励缩放机制，动态调节λ以提升训练稳定性。结合多模态、多任务场景，扩展奖励外推策略的适用性。研究如何自动选择最优参考模型，降低计算成本，增强模型泛化能力。此外，结合元学习与强化学习，优化奖励调节策略，推动大模型自主学习与知识融合的边界。
AI 总览摘要
本研究提出了G-OPD（Generalized On-Policy Distillation）框架，旨在突破传统知识蒸馏的性能瓶颈。通过引入奖励缩放因子λ，本文实现了奖励的插值与外推策略，使学生模型不仅能模仿教师，还能超越其能力边界。理论分析表明，奖励外推（λ>1）在多任务、多源融合中具有显著优势，实验结果验证了其在数学推理和代码生成任务中的优越表现。具体而言，奖励外推使得学生模型在多教师融合场景中超越所有教师，表现出超越教师的能力，特别是在跨领域知识融合方面展现出巨大潜力。在强到弱蒸馏中，利用教师预训练模型作为参考模型，结合奖励校正，进一步提升了蒸馏效果，验证了参考模型选择的关键作用。这一方法不仅丰富了强化学习与知识蒸馏的理论联系，也为未来多源、多任务模型的训练提供了新思路。尽管如此，奖励外推可能带来训练不稳定和计算成本增加的问题，未来需在算法稳定性和效率方面进行优化。总体而言，G-OPD为大模型的性能提升提供了新途径，有望推动人工智能在多任务、多源融合领域的快速发展。
深度分析
研究背景
近年来，深度学习模型，尤其是大规模预训练语言模型（如GPT、BERT）在多个任务中取得突破。知识蒸馏技术作为模型压缩和性能提升的重要手段，经历了从传统的离策略（off-policy）到在策略（on-policy）上的不断演进。早期方法如Hinton等提出的蒸馏技术，主要通过模仿教师的输出分布实现知识迁移。近年来，强化学习（RL）在模型优化中的引入，为模型提供了基于奖励的训练信号。OPD作为结合RL和蒸馏的创新，利用学生生成轨迹，获得密集的奖励信号，显著提升了蒸馏效率。已有研究在多任务融合、跨领域迁移中取得一定成功，但仍受限于奖励设计的刚性和参考模型的限制。本文在此基础上，提出了G-OPD框架，旨在通过奖励外推和灵活参考模型，突破现有瓶颈。
核心问题
传统知识蒸馏在性能提升上存在瓶颈，尤其在多任务、多源融合场景中难以超越教师模型。标准OPD虽能实现密集奖励和高效训练，但其奖励权重固定，难以调节以适应不同任务需求。此外，如何利用奖励外推实现模型性能超越教师，仍未被充分探索。尤其在多教师融合和强到弱蒸馏中，如何设计合理的奖励机制和参考模型，成为关键难题。解决这些问题，有助于实现更强大、更灵活的模型训练策略。
核心创新
本研究的核心创新包括：1）提出奖励外推（λ>1）策略，突破传统奖励限制，促使学生模型超越教师性能；2）引入灵活参考模型，支持多源知识融合；3）建立奖励缩放机制，动态调节奖励与正则化的权重，增强模型适应性；4）理论证明奖励外推在多任务融合中的有效性，结合实验证明其优越性。这些创新极大丰富了知识蒸馏和强化学习的结合方式，为模型性能提升提供新思路。
方法详解
- �� 以OPD为基础，重新定义目标函数，引入参考模型和奖励缩放因子λ。• 设计奖励插值（0<λ<1）与外推（λ>1）两种策略，调节学生学习目标。• 利用密集的token级奖励，增强模型对每个动作的反馈。• 通过理论分析，证明奖励外推可突破教师性能边界。• 采用多任务、多源融合实验验证方法有效性，特别在数学推理和代码生成任务中。• 引入奖励校正，结合教师预训练模型，优化弱模型蒸馏效果。
实验设计
在数学推理（AIME24/25、HMMT）和代码生成（HumanEval+、MBPP+、LiveCodeBench）任务中，采用Qwen3-4B模型作为基础，构建教师模型。通过RL训练获得领域专家教师，利用不同奖励缩放系数λ（0.0至1.5）进行蒸馏，比较标准OPD与奖励外推策略。评估指标包括准确率和响应长度，验证奖励外推在多任务融合和强到弱蒸馏中的优势。实验还分析了参考模型选择对性能的影响，验证奖励校正的有效性。
结果分析
奖励外推（λ>1）在数学和代码任务中显著优于标准OPD，平均提升性能达5-10%。多教师融合中，学生模型超越所有教师，表现出超越教师能力的潜力。奖励校正结合教师预训练模型，进一步提升弱模型蒸馏效果，平均提升3-5%。实验结果验证奖励外推策略的有效性，展示其在多任务、多源融合中的广泛适用性。
应用场景
该方法适用于大规模模型微调、多任务学习、跨领域知识迁移。可在工业界用于提升模型性能、实现模型压缩与融合，特别适合需要多源知识整合的场景。未来，结合自动化奖励调节机制，有望实现更高效、更智能的模型训练流程。
局限与展望
奖励外推可能引起训练不稳定，需调节参数避免发散。参考模型的选择增加计算成本，限制大规模应用。部分场景下，奖励外推可能导致过拟合或性能波动，需结合正则化策略。未来需优化算法稳定性和效率，降低计算负担。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，老师傅（教师模型）教你怎么做一道菜。你模仿老师傅的步骤（模仿教师输出），但有时候你会尝试自己创新，比如多放点盐（奖励外推），甚至做出比老师傅更好吃的菜（超越教师）。这个过程就像用奖励引导你不断改进，参考不同的食谱（参考模型），让你变得更厉害。奖励外推就像你在菜谱上大胆尝试，不仅模仿，还想做得更好。这样，你的厨艺（模型性能）就能不断提升，甚至超越老师傅，成为厨房里的新高手。
简单解释 像给14岁少年讲一样
想象你在学校里学习，老师（教师模型）教你数学题的解法。你跟着老师的步骤学习（模仿老师），但有时候你会尝试用自己的方法解决（奖励外推），甚至比老师还快还准（超越老师）。你还可以参考其他老师的解法（参考模型），让自己的答案更完美。这个过程就像用奖励机制鼓励自己不断进步，不仅学会老师的方法，还能自己创新。最终，你会变得比老师更厉害，能解决更难的问题，成为班里的数学天才。
术语表
Knowledge Distillation (知识蒸馏)
一种模型压缩技术，通过让小模型模仿大模型的输出，实现性能提升。
论文中用于描述学生模型学习教师模型的过程。
Reinforcement Learning (强化学习)
一种基于奖励信号训练模型的方法，让模型通过试错优化行为策略。
用于解释OPD与RL的关系。
KL Divergence (KL散度)
衡量两个概率分布差异的指标，用于正则化模型参数。
在知识蒸馏和G-OPD中作为正则项。
Reward Extrapolation (奖励外推)
通过调节奖励权重，使模型学习超越教师性能的策略。
核心创新之一。
Reference Model (参考模型)
在蒸馏中用作目标或基准的模型，可灵活选择。
影响奖励设计和模型性能。
开放问题 这项研究留下的未解疑问
- 1 如何自动调节奖励缩放因子λ以确保训练稳定性仍未充分解决。
- 2 多源知识融合中，如何选择最优参考模型以最大化性能提升。
- 3 奖励外推在极端任务或复杂场景中的表现尚待验证。
应用场景
近期应用
多任务模型微调
利用奖励外推优化多任务模型，提升在不同任务中的表现，适合AI公司进行模型优化和定制。
远期愿景
跨领域知识融合
未来通过奖励外推实现不同领域模型的高效融合，推动AI系统的自主学习和泛化能力，形成更智能的多源知识体系。
原文摘要
On-policy distillation (OPD), which aligns the student with the teacher's logit distribution on student-generated trajectories, has demonstrated strong empirical gains in improving student performance and often outperforms off-policy distillation and reinforcement learning (RL) paradigms. In this work, we first theoretically show that OPD is a special case of dense KL-constrained RL where the reward function and the KL regularization are always weighted equally and the reference model can by any model. Then, we propose the Generalized On-Policy Distillation (G-OPD) framework, which extends the standard OPD objective by introducing a flexible reference model and a reward scaling factor that controls the relative weight of the reward term against the KL regularization. Through comprehensive experiments on math reasoning and code generation tasks, we derive two novel insights: (1) Setting the reward scaling factor to be greater than 1 (i.e., reward extrapolation), which we term ExOPD, consistently improves over standard OPD across a range of teacher-student size pairings. In particular, in the setting where we merge the knowledge from different domain experts, obtained by applying domain-specific RL to the same student model, back into the original student, ExOPD enables the student to even surpass the teacher's performance boundary and outperform the domain teachers. (2) Building on ExOPD, we further find that in the strong-to-weak distillation setting (i.e., distilling a smaller student from a larger teacher), performing reward correction by choosing the reference model as the teacher's base model before RL yields a more accurate reward signal and further improves distillation performance. However, this choice assumes access to the teacher's pre-RL variant and incurs more computational overhead. We hope our work offers new insights for future research on OPD.
参考文献 (20)
Distillation
D. Cheng, M. Cristani, Vittorio Murino
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
DeepSeek-AI
Policy Distillation
Andrei A. Rusu, Sergio Gomez Colmenarejo, Çaglar Gülçehre 等
HybridFlow: A Flexible and Efficient RLHF Framework
Guangming Sheng, Chi Zhang, Zilingfeng Ye 等
RLHF Workflow: From Reward Modeling to Online RLHF
Hanze Dong, Wei Xiong, Bo Pang 等
LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code
Naman Jain, King Han, Alex Gu 等
DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
Zhihong Shao, Peiyi Wang, Qihao Zhu 等
Distilling Rule-based Knowledge into Large Language Models
Wenkai Yang, Yankai Lin, Jie Zhou 等
On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes
Rishabh Agarwal, Nino Vieillard, Yongchao Zhou 等
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
Rafael Rafailov, Archit Sharma, E. Mitchell 等
Enhancing Chat Language Models by Scaling High-quality Instructional Conversations
Ning Ding, Yulin Chen, Bokai Xu 等
Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation
Jiawei Liu, Chun Xia, Yuyao Wang 等
DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
Victor Sanh, Lysandre Debut, Julien Chaumond 等
Distilling the Knowledge in a Neural Network
Geoffrey E. Hinton, O. Vinyals, J. Dean
被引用 (20)
DreOPD: Degraded-Reference Extrapolative On-Policy Distillation for Flow-matching Models
REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation
Simple-OPD: Demystifying Warm-up for On-policy Distillation
CROP: Task Relevance via Counterfactuals for Selective On-Policy Distillation
STAR-OPD: Structured Aspect-Cascade-Aware On-Policy Reward Distillation for ABSA Quadruple Extraction
On-Policy Delta Distillation
Weak-to-Strong On-Policy Distillation
SMOPD: Selective Token-Entropy Masking for Dirty-History Multi-Turn On-Policy Self-Distillation
The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation
OPOD: On-Policy Omni Distillation
SPOT: Sparse Probing and Outcome Calibration for On-Policy Distillation
AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning
On-Policy Delta Distillation for Multilingual Math Reasoning
Contrastive On-Policy Distillation
LLM-as-a-Coach: Experiential Learning for Non-Verifiable Tasks
Distilled Reinforcement Learning for LLM Post-training
Distill Skills into Weights, Not Prompts: Abstract Skills as Privileged Signals for On-Policy Self-Distillation
SR-OPSD: Self-Referenced On-Policy Self-Distillation
ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation
Poly-OPD: Heterogeneous Multi-Teacher On-Policy Distillation for Capability-Selectable Flow Models