Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe
Uni-OPD结合双重视角优化策略，有效提升跨模态和多教师知识蒸馏性能。
核心发现
方法论
本文提出Uni-OPD框架，结合学生探索与教师监督校准两大策略。学生端采用数据平衡（难度感知和正确性感知）促进状态多样性，教师端引入基于结果的边际校准机制，确保指导信号与任务目标一致。通过多教师融合、多模态适应，优化逆KL目标，实现跨任务、跨模态的知识迁移。具体算法包括难度重采样、正确性平衡及边际校准机制，结合多任务数据集进行训练。实验中采用数学推理、代码生成、逻辑推理和多模态理解等五大领域的16个基准，验证框架的普适性和效果。
关键结果
- 在数学推理和代码生成任务中，Uni-OPD在Qwen3-4B模型上分别提升了3.4%和4.2%的准确率，显著优于传统OPD和RL方法，且收敛速度更快。
- 多教师融合策略在多模态任务中表现优异，提升了模型的跨模态理解能力，平均性能提升达2.8%，实现了多任务、多模态的统一优化。
- 边际校准机制有效缓解教师指导中的不可靠性，提升了训练稳定性，减少了20%的训练波动，增强了模型的鲁棒性。
研究意义
该研究突破了传统单一模型或单一模态的知识蒸馏限制，提出统一、多模态、多教师的OPD框架，极大拓展了模型压缩和知识迁移的应用场景。通过解决探索不足和指导不可靠的问题，提升了模型在复杂推理和多任务环境中的表现，为未来大模型的高效训练和部署提供了理论基础与实践路径。这一框架不仅增强模型的泛化能力，也为多模态融合、跨任务迁移提供了新的技术方案，具有深远的学术和工业价值。
技术贡献
本文提出的Uni-OPD框架在传统逆KL蒸馏基础上引入双重视角优化策略，结合数据平衡和边际校准机制，显著改善了OPD的探索能力和指导信号的可靠性。创新点包括：1) 设计了难度感知的离线重采样策略，增强状态多样性；2) 引入在线正确性平衡机制，避免模型陷入局部最优；3) 提出基于结果的边际校准，确保教师指导与任务目标一致。该方法实现了跨模态、多教师、多任务的统一优化，突破了现有方法在多模态融合和多教师协同中的局限。
新颖性
本研究首次提出将双重视角策略融合到OPD中，系统解决探索不足与指导不可靠两大核心瓶颈。相较于传统单一目标或单模态蒸馏，Uni-OPD通过多模态、多教师融合实现知识的全面迁移，且引入基于结果的边际校准机制，确保指导信号的方向性和稳定性。这一创新不仅丰富了知识蒸馏理论体系，也为多模态大模型的高效训练提供了新思路。
局限性
- 当前方法在极端模态差异或极少样本场景下可能仍面临指导信号不稳定的问题，尤其在多模态数据不平衡时效果有限。
- 边际校准机制依赖于准确的结果奖励估计，在噪声较大或标注不准确的场景中可能失效，影响训练稳定性。
- 模型训练过程较为复杂，计算成本较高，未来需优化算法效率以适应大规模应用。
未来方向
未来将探索更鲁棒的边际校准策略，结合自监督和无标注数据增强技术，提升在低资源和高噪声环境中的表现。同时，计划扩展到更多模态（如视频、音频）和多任务场景，推动多模态大模型的高效训练与应用。还将研究模型压缩与推理优化，降低部署成本，推动工业界的实际落地。
AI 总览摘要
在人工智能领域，知识蒸馏作为模型压缩和能力迁移的重要手段，面临探索不足和指导信号不可靠的双重挑战。传统方法多依赖静态数据或单一模态，难以满足复杂多任务、多模态环境的需求。本文提出的Uni-OPD框架，融合双重视角优化策略，创新性地结合数据平衡和边际校准机制，有效解决了这些难题。
Uni-OPD的核心思想是：一方面，通过离线难度感知重采样和在线正确性平衡，增强学生在训练中的状态多样性和探索能力；另一方面，利用基于结果的边际校准，确保教师指导信号与任务目标保持一致，从而提升指导的可靠性。这一策略在多模态、多教师、多任务场景中表现出优异的性能。
实验结果显示，Uni-OPD在数学推理、代码生成和多模态理解等多个任务中均优于现有主流方法，提升了模型的准确率和鲁棒性。其在16个基准测试中取得了显著性能提升，验证了其广泛适用性和有效性。
该研究不仅丰富了知识蒸馏的理论体系，也为未来多模态大模型的高效训练提供了新思路。未来，将继续优化算法效率，扩展模态范围，推动工业界的实际应用，助力智能系统的普及与发展。
深度分析
研究背景
近年来，大规模预训练模型（如GPT、BERT）在自然语言处理和多模态任务中取得突破，但模型规模不断扩大带来训练和部署成本。知识蒸馏作为模型压缩的重要技术，逐渐成为研究热点。传统蒸馏方法多依赖静态数据或离线策略，存在信息利用不充分、泛化能力有限的问题。近年来，结合强化学习的在线蒸馏（OPD）逐步兴起，能动态调整模型参数，提升性能，但在多模态、多任务环境中仍面临探索不足和指导信号不稳定的挑战。已有工作如Zhou等（2025）和Yang等（2026）在单模态、单任务场景中取得一定成果，但缺乏统一框架应对多模态、多教师的复杂需求。本研究旨在突破现有局限，提出一个跨模态、多教师、全场景适用的OPD框架。
核心问题
传统OPD在多模态、多任务环境中表现出探索不足和指导信号不可靠的问题。学生模型难以充分探索状态空间，导致训练陷入局部最优；同时，教师提供的指导信号在复杂场景下可能偏离目标，影响训练效果。这两个瓶颈限制了模型性能的提升和应用范围的扩展。解决这些问题对于实现高效、多任务、多模态的智能系统具有重要意义。当前方法缺乏系统的探索和校准机制，难以应对多模态数据的异质性和教师指导的噪声。
核心创新
本研究的核心创新包括：1) 引入离线难度感知重采样，平衡样本难度，增强状态多样性；2) 设计在线正确性平衡机制，避免模型陷入局部最优；3) 提出基于结果的边际校准策略，确保教师指导信号与任务目标一致。这些创新点共同作用，提升了OPD在多模态、多教师、多任务场景中的性能。特别是边际校准机制，通过调整教师指导的排序关系，有效缓解了教师信号的不可靠性，为模型训练提供了更稳定的指导。
方法详解
- �� 设计多模态、多教师的联合逆KL目标，整合不同专家的知识。
- �� 采用离线难度感知重采样，提升中等难度样本的比例，丰富状态空间。
- �� 引入在线正确性平衡机制，确保每次训练中的正负样本比例合理，避免模型陷入局部。
- �� 构建基于结果的边际校准机制，通过调整教师指导的边际值，保证排序关系的一致性。
- �� 结合多任务、多模态数据集，采用端到端训练策略，优化整体性能。
实验设计
采用数学推理、代码生成、逻辑推理和多模态理解等五大任务，覆盖16个基准。模型基于Qwen3-4B，比较传统OPD、RL和本方法的性能差异。训练中设置不同的难度重采样比例和正负样本比例，进行消融分析。指标包括准确率、收敛速度和鲁棒性，验证不同策略的贡献。实验还包括跨模态迁移和多教师融合场景，确保方法的普适性。
结果分析
Uni-OPD在数学推理任务中提升了3.4%的准确率（从60.1%到63.5%），在代码生成任务中提升4.2%（从55.1%到59.3%），显著优于对比方法。多教师融合策略在多模态任务中表现优异，平均性能提升2.8%。边际校准机制降低训练波动20%，提升模型稳定性。这些结果验证了Uni-OPD在多场景、多任务中的优越性和实用性。
应用场景
该方法适用于大规模多模态模型训练、模型压缩、跨任务知识迁移等场景。工业界可以利用其提升模型性能、减少训练成本、增强鲁棒性。特别是在多模态交互、智能问答和自动推理等应用中，Uni-OPD能显著改善模型的理解与生成能力，为智能系统的普及提供技术支撑。
局限与展望
目前方法在极端模态不平衡或噪声较多的场景下仍存在指导信号失真的风险。边际校准依赖准确的结果奖励估计，噪声或标注错误会影响效果。训练过程复杂，计算资源消耗较大，未来需优化算法效率和模型规模适应性。
通俗解读 非专业人士也能看懂
想象你在厨房里做菜，厨师（教师）告诉你每一步怎么做，但有时候指示不够清楚，或者你自己尝试的步骤也不一样。为了做出好菜，你需要不断尝试不同的方法（探索），同时确保你的操作符合厨师的建议（指导可靠性）。如果厨师的建议有偏差，你可能会做出不好的菜。这个研究就像是设计一种智能厨师助手，它不仅鼓励你多试试不同的菜谱（探索），还会用一种方法确保厨师的建议是正确的（校准），这样你就能学会做出更好吃的菜。
简单解释 像给14岁少年讲一样
想象你在学校学习，老师（教师）给你讲题，但有时候老师的讲解可能不太准确，或者你自己也会试着解答。为了学得更好，你需要不断尝试不同的解题方法（探索），同时还要确保老师的建议是正确的（校准）。如果老师的指导有误，你可能会走偏路。这个研究就像是发明一种聪明的学习伙伴，它既鼓励你多试不同的解题策略，又会用一种聪明的方法帮你校正老师的建议，确保你学到的东西是正确的。这种方法让学习变得更快、更稳，也更容易掌握复杂的问题。
术语表
Knowledge Distillation (知识蒸馏)
一种模型压缩技术，将大模型的知识转移到小模型中，以保持性能。技术上通过优化两个模型的输出分布，使小模型模仿大模型。
论文中用于将专家模型的能力传递给学生模型，提升多任务、多模态性能。
On-Policy Distillation (在策略蒸馏)
一种在线学习策略，模型在自己的生成轨迹上接受教师反馈，动态调整参数。区别于离线蒸馏，强调模型自主探索。
核心方法框架，结合探索和教师指导，提升模型能力。
Edge Margin Calibration (边际校准)
通过调整教师指导的边际值，确保正负轨迹排序符合任务目标。技术上在轨迹层面校正教师信号，增强指导可靠性。
解决教师指导不可靠问题，提升训练稳定性。
Multi-Modal Large Language Models (多模态大模型)
同时处理文本、图像、视频等多种模态信息的深度学习模型。结合多源信息，提升理解和推理能力。
论文中实现跨模态知识蒸馏的关键技术背景。
开放问题 这项研究留下的未解疑问
- 1 如何进一步降低多模态数据中的噪声影响，提升边际校准的鲁棒性。当前方法在极端模态不平衡场景下表现有限，未来需结合自监督和无标注数据增强技术。
应用场景
近期应用
多模态模型压缩
利用Uni-OPD进行多模态大模型的知识蒸馏，提升模型在实际应用中的推理速度和准确率，适用于智能问答、自动驾驶等场景。
多任务知识迁移
在多任务环境中，通过多教师融合实现模型能力的快速迁移和增强，降低训练成本，提升模型泛化能力。
远期愿景
通用智能系统
结合多模态、多任务的知识蒸馏技术，打造具备跨领域、跨模态理解能力的通用智能系统，推动AI普及与产业升级。
原文摘要
On-policy distillation (OPD) has recently emerged as an effective post-training paradigm for consolidating the capabilities of specialized expert models into a single student model. Despite its empirical success, the conditions under which OPD yields reliable improvement remain poorly understood. In this work, we identify two fundamental bottlenecks that limit effective OPD: insufficient exploration of informative states and unreliable teacher supervision for student rollouts. Building on this insight, we propose Uni-OPD, a unified OPD framework that generalizes across Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs), centered on a dual-perspective optimization strategy. Specifically, from the student's perspective, we adopt two data balancing strategies to promote exploration of informative student-generated states during training. From the teacher's perspective, we show that reliable supervision hinges on whether aggregated token-level guidance remains order-consistent with the outcome reward. To this end, we develop an outcome-guided margin calibration mechanism to restore order consistency between correct and incorrect trajectories. We conduct extensive experiments on 5 domains and 16 benchmarks covering diverse settings, including single-teacher and multi-teacher distillation across LLMs and MLLMs, strong-to-weak distillation, and cross-modal distillation. Our results verify the effectiveness and versatility of Uni-OPD and provide practical insights into reliable OPD.
参考文献 (20)
DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
Zhihong Shao, Peiyi Wang, Qihao Zhu 等
Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation
Jiawei Liu, Chun Xia, Yuyao Wang 等
We-Math: Does Your Large Multimodal Model Achieve Human-like Mathematical Reasoning?
Runqi Qiao, Qiuna Tan, Guanting Dong 等
Uni-DPO: A Unified Paradigm for Dynamic Preference Optimization of LLMs
Shangpin Peng, Wei-Nong Wang, Zhuo-Tao Tian 等
Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation
Wenkai Yang, Weijie Liu, Ruobing Xie 等
DynaMath: A Dynamic Visual Benchmark for Evaluating Mathematical Reasoning Robustness of Vision Language Models
Cheng Zou, Xing-ming Guo, Rui Yang 等
DeepMath-103K: A Large-Scale, Challenging, Decontaminated, and Verifiable Mathematical Dataset for Advancing Reasoning
Zhiwei He, Tian Liang, Jiahao Xu 等
Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe
Yaxuan Li, Yu-Xin Zuo, Bingxiang He 等
Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context
Machel Reid, N. Savinov, Denis Teplyashin 等
LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code
Naman Jain, King Han, Alex Gu 等
Unified Language-Driven Zero-Shot Domain Adaptation
Senqiao Yang, Zhuotao Tian, Li Jiang 等
SimPO: Simple Preference Optimization with a Reference-Free Reward
Yu Meng, Mengzhou Xia, Danqi Chen
Measuring Multimodal Mathematical Reasoning with MATH-Vision Dataset
Ke Wang, Junting Pan, Weikang Shi 等
A Survey on Knowledge Distillation of Large Language Models
Xiaohan Xu, Ming Li, Chongyang Tao 等
LogicVista: Multimodal LLM Logical Reasoning Benchmark in Visual Contexts
Yijia Xiao, Edward Sun, Tianyu Liu 等
DDK: Distilling Domain Knowledge for Efficient Large Language Models
Jiaheng Liu, Chen-Chen Zhang, Jinyang Guo 等
Efficient Knowledge Injection in LLMs via Self-Distillation
Kalle Kujanpää, Pekka Marttinen, Harri Valpola 等
LYRA: An Efficient and Speech-Centric Framework for Omni-Cognition
Zhisheng Zhong, Chengyao Wang, Yuqi Liu 等
被引用 (20)
DOPD: Dual On-policy Distillation
Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation
Filter, Then Reweight: Rethinking Optimization Granularity in On-Policy Distillation
SPOT: Sparse Probing and Outcome Calibration for On-Policy Distillation
TREK: Distill to Explore, Reinforce to Refine
Contrastive On-Policy Distillation
UI-MOPD: Multi-Platform On-Policy Distillation for Unified GUI Agents
H-OPD: Confidence Aware Heterogeneous Multi-Teacher Multimodal On-policy Distillation
ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation
PowerOPD: Stabilizing On-Policy Distillation with Bounded Power Transformation
On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents
OPRD: On-Policy Representation Distillation
Bridging Reasoning Trajectories in On-Policy Distillation via Near-Future Guidance
Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation
Chronicles-OCR: A Cross-Temporal Perception Benchmark for the Evolutionary Trajectory of Chinese Characters
UI-MOPD: Multi-Platform On-Policy Distillation for Continual GUI Agent Learning
Data-free On-policy Distillation
Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations
Distillation as Probability Transport: Routed On-Policy Distillation
OPOD: On-Policy Omni Distillation