Matching Supervision to the Student's Learning Capacity: A Unified Framework for On-Policy Self-Distillation

近年来，深度学习模型，尤其是大型语言模型（LLMs），在自然语言理解和推理任务中取得突破。模型蒸馏技术，尤其是自蒸馏（Self-Distillation），通过模型内部的privileged信息提升性能，成为后训练的重要手段。早期工作如Hinton的知识蒸馏（2015）解决了模型压缩问题，后续研究如OpenAI的SFT和RL方法进一步增强推理能力。OPSD作为一种无需外部教师的自蒸馏策略，利用模型自身生成的rollouts和privileged信息，显著提升了数学推理和编码能力。然而，现有方法在令牌选择和privileged信息的控制上多为孤立优化，导致 supervision 质量与学生能力不匹配，限制了性能潜力。随着模型规模不断扩大，如何动态调节 supervision 以适应学生的学习状态，成为亟需解决的问题。

核心问题在于令牌选择和privileged信息控制两者的耦合性。传统方法在固定或单一调节下，难以实现 supervision 的最优匹配，导致模型在复杂推理任务中表现不佳。具体表现为：一方面，过度privileged信息会引入答案泄露或超出学生能力，另一方面，令牌选择不合理会使得重要信息被忽略或噪声干扰。这种不匹配限制了模型的学习效率和推理能力，亟需一种机制实现两者的协同调节。

本文创新点在于提出统一的容量匹配优化框架，将令牌选择（w）与privileged信息强度（β）作为两个耦合变量，通过引入单一的拉格朗日乘子λ实现动态调节。该框架基于容量预算，确保 supervision 既不过度也不不足，最大化模型潜在的推理能力。核心创新包括：1）将两个调节变量统一建模，解决以往孤立优化的局限；2）设计轻量级的在线 primal-dual算法USD，实时调节λ和β，无需额外模型或复杂调度；3）理论证明λ同时设定令牌阈值和privileged信息调整方向的合理性，提供严格的数学基础。

• �� 定义令牌权重w和privileged信息强度β作为调节变量。
• �� 构建目标函数，最大化带权 divergence，同时限制学习难度（load）不超过容量ε。
• �� 引入拉格朗日乘子λ，将容量限制转化为惩罚项，形成拉格朗日函数。
• �� 通过在线 primal-dual 方法，动态调整λ和β：
• λ通过梯度上升，调节令牌选择阈值。
• β通过残差调整，确保容量匹配。
• �� 令牌权重通过sigmoid函数实现软阈值，避免非光滑优化。
• �� 最终算法在每个训练批次中，实时更新λ和β，保证 supervision 贴合学生能力。

采用Qwen3系列（1.7B、4B、8B）模型，在数学推理任务（AIME24/25、HMMT25）上验证。对比SFT、GRPO、vanilla OPSD、TIP、PAINT等基线，训练300步，调节参数包括：容量ε=0.3，温度τ=0.1，学习率ηλ=0.1，ηβ=0.03。评估指标为Avg@12，结果显示USD在所有模型规模上均优于对比方法，平均提升达+2.3%。 Ablation研究验证了双变量调节的协同作用，单独调节效果有限。

在三种模型规模中，USD平均性能从56.4%提升到58.7%，在复杂推理任务中表现尤为优越。具体数据如Qwen3-8B模型在HMMT25任务中由46.9%提升至49.7%。实验还显示，单独调节令牌或privileged信息效果有限，联合调节显著提升模型推理能力。算法实现简单，训练过程中无需额外模型，只通过动态调节λ和β实现容量匹配，具有良好的实用性。

该方法适用于大规模语言模型的推理增强，尤其在数学、逻辑推理等任务中。可用于学术研究、工业智能问答、自动推理系统等场景，帮助模型更好地理解复杂问题，提升推理准确率。实现条件为模型具备privileged信息和动态调节能力，训练过程中无需额外硬件资源。

算法对容量预算参数敏感，实际应用中需精细调优。模型容量估计误差可能影响调节效果，尤其在极端任务或超大模型中表现不佳。此外，调节机制引入训练复杂度，可能影响大规模部署效率。未来需优化容量估计和调节策略，增强鲁棒性。