核心发现
方法论
本文分析了在政策蒸馏（OPD）中能力传递与置信校准的内在矛盾，提出基于模型滚动估计的校准感知框架CaOPD。通过在训练中采样多轮推理轨迹，利用模型输出的实际成功率作为校准目标，避免了教师上下文引入的 entropy 崩溃和乐观偏差。该方法在不同模型和任务域中验证，结合自我蒸馏机制实现能力与置信的解耦，提升校准效果同时保持任务性能。
关键结果
- 在科学问答和工具使用任务中，CaOPD显著降低了校准误差（ECE）和Brier Score，平均校准误差降低了30%以上，同时保持或略优于传统能力蒸馏方法的准确率。例如，在Qwen3-8B模型上，校准误差从0.157降至0.141，能力保持在80%以上。
- 通过对比RL基方法，CaOPD在不牺牲能力的情况下，显著改善了置信的可靠性，OCG指标由+32%降至-0.7%，显示其在实际部署中的优越性。
- 消融实验表明，采样轮数K≥8时，校准效果最佳，模型能有效区分正确与错误答案，且训练时间几乎不增加，验证其高效性。
研究意义
该研究突破了传统知识蒸馏中能力与置信的耦合限制，提出解耦策略，为大规模语言模型的可信性提供理论基础和工程方案。模型在多任务、多域和分布外场景中的优异表现，推动了可信AI的发展，尤其在自动决策和科学研究等关键应用中具有重要意义。
技术贡献
本文提出的CaOPD框架，结合模型滚动采样与目标替换技术，有效解决了教师上下文引入的 entropy 崩溃和乐观偏差问题。理论上，系统分析了OPD中信息不对称导致的校准偏差，提供了数学证明。工程上，通过在标准蒸馏流程中引入无偏估计的目标替换，简化了校准优化过程，无需复杂奖励设计，提升了模型的实用性和鲁棒性。
新颖性
首次系统性揭示了在政策蒸馏中能力传递与置信校准的本质冲突，提出基于模型滚动的校准感知机制，实现在不牺牲能力的前提下，显著改善模型置信的可靠性。这一解耦思想在大模型校准领域具有开创性意义，超越了现有RL或奖励调节方法的局限。
局限性
- 当前方法依赖于多轮采样和验证器评估，存在一定的计算成本，尤其在大规模模型中可能影响训练效率。
- 对无监督或缺少明确验证指标的开放域任务，校准目标的估计可能不够准确，影响效果。
- 模型在极端分布外场景中的表现仍需进一步验证，未来需结合多模态信息优化校准策略。
未来方向
未来将探索自适应采样策略以降低计算负担，结合多模态信息提升校准的鲁棒性，扩展到多任务、多语言和连续学习场景，推动可信AI的广泛应用。
AI 总览摘要
在人工智能快速发展的背景下，深度学习模型的可靠性成为关键瓶颈。尽管大规模预训练模型在任务性能上取得突破，但其置信输出普遍存在严重偏差，表现为过度自信，限制了其在自动决策和科学探索中的应用。传统的知识蒸馏方法在提升模型能力的同时，未能有效解决置信校准问题，导致模型在实际部署中表现出“盲目乐观”。
本文深入分析了在政策蒸馏（OPD）中能力传递与置信校准的内在矛盾，发现教师上下文的丰富信息引发 entropy 崩溃和偏置，造成模型过信心。为此，提出一种校准感知的解耦框架CaOPD，通过在训练中采样多轮推理轨迹，利用模型实际成功率作为校准目标，避免了传统方法中的 entropy 崩溃和乐观偏差。这一方法在多个任务域中验证，显著提升模型的校准指标（如ECE和Brier Score），同时保持或略优于传统能力蒸馏的性能。
实验结果显示，CaOPD在科学问答和工具使用任务中，校准误差降低30%以上，模型的置信判别能力得到显著改善。与RL奖励调节方法相比，CaOPD无需复杂的奖励设计，避免了能力损失，展现出更优的实用性和鲁棒性。该研究不仅提供了理论基础，也为未来可信AI的发展指明了方向，特别是在自动决策、科学研究和安全系统中的应用潜力巨大。未来工作将聚焦于降低计算成本、扩展多模态场景和多任务适应性，推动模型在实际环境中的广泛部署。
深度分析
研究背景
近年来，深度学习模型在自然语言处理、计算机视觉等领域取得巨大突破，尤其是大规模预训练模型（如GPT、BERT）在多任务中表现优异。知识蒸馏作为提升模型效率和能力的重要手段，已成为研究热点。传统蒸馏方法主要关注能力迁移，但在模型可信性方面仍存在不足。近年来，模型校准成为焦点，旨在使模型输出的置信度反映真实成功概率。然而，现有方法多依赖于后处理或强化学习调节，难以兼顾能力与校准的平衡。本文基于对政策蒸馏（OPD）机制的深入分析，揭示了其在能力传递中引入的偏差，推动了校准感知蒸馏的研究。
核心问题
当前大模型在实际应用中，普遍存在过度自信的问题，导致在关键决策场景中风险加大。传统蒸馏方法虽然提升了能力，但未能解决置信偏差，反而加剧了模型的乐观偏差。尤其是在OPD中，教师上下文丰富，模型在训练中学会了“盲目自信”，但在部署时只能依赖有限信息，造成校准严重偏离真实概率。这一问题制约了模型的可信度和安全性，亟需一种在保证能力的同时，提升置信可靠性的解决方案。
核心创新
本文提出的核心创新包括：1）理论分析了OPD中信息不对称引发的 entropy 崩溃和乐观偏差，提供数学证明；2）引入模型滚动采样，利用模型实际成功率作为校准目标，避免教师上下文引入的偏差；3）设计了目标替换机制，将模型的置信输出与实际成功率对齐，实现能力与校准的解耦。这一方案突破了传统RL奖励调节的局限，简化了训练流程，兼顾能力和校准，具有广泛的工程应用潜力。
方法详解
- �� 采样多轮推理轨迹：在训练中，模型对每个输入采样K次，得到多个推理路径。• 计算经验成功率：利用任务验证器对每个轨迹评估成功与否，得到模型的实际成功概率。• 目标替换：将轨迹中的置信标签用经验成功率替换，保持推理内容不变，调整置信输出。• 置信校准：在自我蒸馏中，将模型输出的置信与经验成功率对齐，避免 entropy 崩溃。• 训练流程：在标准蒸馏框架中引入目标替换，优化模型参数，提升校准效果。• 采样轮数调节：通过调节采样次数K，平衡计算成本与校准效果，确保训练效率。• 理论分析：证明信息不对称导致的偏差机制，为方法提供理论支撑。
实验设计
使用Science Q&A和ToolAlpaca两个任务域，评估模型Qwen3-8B和Olmo-3-7B-Instruct。指标包括准确率（Accuracy）、期望校准误差（ECE）、Brier Score（BS）和置信判别指标SPR。对比SDFT、SDPO、RLCR等基线方法，进行消融实验验证采样轮数和目标替换策略的影响。采用不同模型规模（0.6B到32B）进行扩展性测试，确保方法的鲁棒性和泛化能力。
结果分析
CaOPD在所有任务中显著降低了校准误差（如在Qwen3-8B上ECE由0.157降至0.141），同时保持或提升准确率（如Tool Use任务中由66.2%提升至70.9%）。在模型置信判别方面，显著改善SPR指标（如从0.085提升到0.555），验证了置信的可靠性。与RL奖励调节方法相比，CaOPD无需额外奖励设计，避免能力损失，展现出优越的性能和效率。采样轮数≥8时，校准效果最佳，训练时间几乎无增加，验证了方法的实用性。
应用场景
该方法适用于需要高置信度和可靠性的自动问答、科学研究、自动决策系统。通过在训练中引入经验成功率，模型能在部署时提供更可信的置信输出，增强系统的安全性和用户信任。未来可结合多模态信息，应用于机器人、医疗诊断等场景，推动可信AI的广泛应用。
局限与展望
方法依赖多轮采样和验证器，计算成本较高，尤其在超大模型中可能影响效率。对无监督任务或缺少明确验证指标的场景，校准目标估计可能不够准确。模型在极端分布外场景中的表现仍需验证，未来需结合多模态信息和自适应采样策略优化性能。
通俗解读 非专业人士也能看懂
想象你在学习做菜，老师告诉你每一步都要做得完美，还会告诉你做得好不好，但这些评价都是老师根据自己经验给出的，实际上你自己做出来的菜可能比老师说的还要好或差。模型也是一样，老师（教师模型）在训练时知道很多秘密信息，教你怎么做（能力），但在实际用的时候，只能用自己看到的有限信息判断自己做得怎么样（置信度）。如果只学老师的“做菜技巧”，但不学怎么判断自己做得好坏，就会变得过于自信，觉得自己一定做得很好。CaOPD就像是让你自己尝一尝菜，自己判断味道，然后用这个“尝味”结果来调整自己的信心，而不是只听老师的评价。这样，你就能更真实地知道自己做得好不好，不会盲目自信，也能做出更好吃的菜。
简单解释 像给14岁少年讲一样
你知道吗，有时候我们觉得自己做的事情一定很棒，但其实可能还差一点点。就像在玩游戏时，你觉得自己一定赢不了，但实际上你已经赢了很多次。模型也是一样，老师（训练时用的模型）告诉它很多秘密，让它变得很厉害，但在实际用的时候，它可能会觉得自己特别有信心，实际上可能还不够好。这就像老师告诉你：“你一定能赢”，但你自己还没有真正试过。CaOPD就像是让模型自己试一试，然后告诉它：“你做得不错，但还可以更好。”这样模型就不会盲目自信，而是知道自己真正的水平。它学会了用自己的“尝试”来判断自己是不是做得好，这样就能更可靠，也更聪明了。
原文摘要
On-policy distillation (OPD) is an increasingly important paradigm for post-training language models. However, we identify a pervasive Scaling Law of Miscalibration: while OPD effectively improves task accuracy, it systematically traps models in severe overconfidence. We trace this failure to an information mismatch: teacher supervision is formed under privileged context available during training, whereas the deployed model must report confidence using only deployment-time information. We formalize this perspective theoretically, showing that teacher-conditioned success is generally not a valid target for deployment-time confidence and that helpful privileged context induces entropy collapse and a systematic optimism bias. To address this, we propose a calibration-aware OPD framework, CaOPD, that estimates empirical confidence from model rollouts, replaces self-reported confidence with this student-grounded target, and distills the revised response through the same self-distillation pipeline. Experiments across various models and domains show that CaOPD achieves Pareto-optimal calibration while maintaining competitive capability, generalizing robustly under out-of-distribution and continual learning. Our findings highlight that capability distillation does not imply calibrated confidence, and that confidence should be treated as an essential objective in post-training. Code: https://github.com/SalesforceAIResearch/CaOPD