核心发现
方法论
本文提出的策略基于对OPD中滚动范围的分析，设计了逐步扩展（POPD）和截断（TOPD）两种方法。POPD在训练过程中逐步增加推理长度，避免早期噪声干扰；TOPD则在保证性能的前提下，采用固定的短序列进行蒸馏，减少计算成本。实验中结合数学推理任务，比较不同策略在训练时间、模型性能和资源消耗上的表现。核心机制包括：利用逐步扩展策略实现 curriculum learning，利用截断策略减少无效推理，确保模型在有限资源下学习到鲁棒的推理能力。
关键结果
- POPD在数学推理任务中将训练效率提升至原来的3倍，显著缩短训练时间，同时保持甚至略优于全序列OPD的性能。
- TOPD在只使用原序列10%的推理长度下，达到了与全序列OPD相当的推理准确率，显著降低了GPU内存占用和训练时长，节省了超过80%的计算资源。
- 实验还表明，截断推理段的学习效果主要源于模型对早期推理路径的掌握，而非对完整推理轨迹的依赖，验证了局部推理的有效性。
研究意义
该研究突破了长序列推理中传统全轨迹蒸馏的瓶颈，提出的滚动窗口控制策略为大规模语言模型的高效训练提供了新思路。通过合理控制推理范围，不仅显著降低了训练成本，还提升了模型在复杂推理任务中的泛化能力。这对于未来大模型的部署和应用具有重要意义，尤其是在资源有限的场景中，能实现更快、更经济的模型优化。
技术贡献
本文创新性地提出了逐步扩展和截断两种滚动范围控制策略，结合token级对齐机制，有效缓解长序列推理中的噪声积累问题。理论上，分析了未来噪声的累积机制，验证了局部推理在模型学习中的有效性。工程上，设计了简洁易用的调度算法，兼容现有OPD框架，为大规模模型训练提供了实用方案。此外，实验证明策略在数学推理和自动控制任务中均表现优越，拓宽了模型蒸馏的应用边界。
新颖性
本研究首次系统性提出滚动窗口控制策略应用于OPD，突破了全轨迹蒸馏的效率瓶颈。不同于以往仅关注模型结构或优化算法的改进，本文从推理轨迹长度入手，结合理论分析与实证验证，创新性地实现了训练效率与性能的双提升。这为长序列任务中的模型蒸馏提供了全新视角，具有较强的创新性和实用价值。
局限性
- 截断策略在某些复杂任务中可能导致信息不足，影响模型的推理完整性，尤其在需要长距离依赖的场景表现有限。
- 逐步扩展策略依赖于合理的调度参数，参数选择不当可能影响训练效果，需进一步自动调优机制。
- 当前方法主要在数学推理和控制任务中验证，泛化到自然语言理解等其他长序列任务仍需更多验证。
未来方向
未来将探索自适应调度机制，根据任务复杂度动态调整推理长度，结合多模态信息增强模型推理能力。此外，考虑多任务场景下的滚动范围优化，提升模型在多样化应用中的泛化性。还计划将策略应用于更大规模的预训练模型，验证其在工业级任务中的实用性和扩展性。
AI 总览摘要
在大规模语言模型的推理训练中，长序列的全轨迹蒸馏（OPD）面临着计算成本高昂和噪声积累的双重挑战。传统方法在生成完整推理路径后进行模型对齐，导致训练时间长、资源消耗大，且在模型逐渐偏离教师策略时，后期反馈的不可靠性会影响早期学习效果。为解决这一问题，本文提出了两种基于滚动窗口的控制策略：逐步扩展（POPD）和截断（TOPD）。POPD采用逐步增加推理长度的调度策略，帮助模型在训练早期专注于可靠的短序列，逐步学习更长的推理路径；而TOPD则在训练中始终只使用有限长度的推理段，显著减少计算成本，同时保持模型性能。实验证明，POPD在数学推理任务中提升训练效率达3倍，TOPD在只用10%推理长度的情况下，性能与全轨迹OPD相当，极大降低了GPU内存和训练时间。这些策略的核心思想是控制推理范围，避免噪声积累，提升训练效率。该研究为大模型的高效训练提供了新思路，特别适合资源有限或对推理速度要求较高的应用场景。未来，结合自适应调度和多任务优化，有望进一步推动长序列推理模型的快速发展和普及。
深度分析
研究背景
近年来，深度学习特别是大规模语言模型（如GPT、BERT）在自然语言理解和推理任务中取得巨大突破。传统的监督微调（SFT）依赖固定示范，但在长序列推理中存在效率瓶颈。模型蒸馏（Knowledge Distillation）作为提升推理效率的重要手段，逐渐成为研究热点。OPD（On-Policy Distillation）通过模型自生成轨迹进行学习，避免依赖外部教师，已在多项任务中展现潜力。然而，长序列推理中的全轨迹蒸馏面临计算成本高、反馈噪声大等问题，限制了其应用范围。此前研究多关注模型结构优化或奖励机制改进，缺乏对推理轨迹长度的系统分析。本文基于对OPD中推理范围的深入分析，提出控制推理长度的策略，为长序列推理的高效训练提供新思路。
核心问题
长序列推理任务中，模型需要在多个步骤中逐步生成内容，传统OPD要求生成完整轨迹后进行对齐，导致训练成本高昂且噪声积累严重。尤其在模型偏离教师策略时，后续反馈变得不可靠，影响早期学习效果。此外，生成完整轨迹耗时长，资源消耗大，难以在大规模模型中高效应用。如何在保证模型性能的同时，降低训练成本，成为亟待解决的问题。本文分析了推理轨迹长度与训练效率的关系，发现控制推理范围是提升效率的关键。
核心创新
本研究的核心创新在于提出基于滚动窗口的推理范围控制策略：逐步扩展（POPD）和截断（TOPD）。POPD通过逐步增加推理长度，形成 curriculum learning，减少早期噪声干扰，提升训练效率。TOPD则在训练中固定较短推理段，显著降低计算成本，同时保持性能。这两种策略结合token级对齐机制，有效缓解长序列中的噪声积累问题。理论分析揭示未来噪声的累积机制，验证了局部推理在模型学习中的有效性。工程实现上，设计了简洁调度算法，兼容现有OPD框架，为大规模模型训练提供实用方案。这些创新为长序列推理模型的高效训练提供了新思路。
方法详解
- �� 分析OPD中推理轨迹的噪声积累机制，提出控制推理范围的思想。• 设计逐步扩展策略（POPD），在训练过程中逐步增加推理长度，采用线性调度参数。• 设计截断策略（TOPD），在训练中只使用有限长度的推理段，避免生成完整轨迹。• 利用token级对齐机制，确保模型只在当前位置进行对齐，减少噪声传播。• 结合理论分析，验证局部推理的有效性，确保模型在有限信息下学习到鲁棒推理能力。• 设计调度算法，自动调整推理长度，适应不同任务需求。• 在数学推理和自动控制任务中进行大量实验，验证策略的有效性和效率提升。
实验设计
采用数学推理（AIME24、AIME25、AMC23）和自动控制任务，比较OPD、POPD和TOPD的性能。模型为R1-Distill-1.5B和OpenMath-1.5B，训练在特定数据集上，评估指标包括准确率和训练时间。设置不同截断比例（10%、25%、50%）验证性能变化，进行 ablation 研究分析推理长度对效果的影响。对比不同策略在GPU内存和训练时长上的节省效果，验证其在实际场景中的适用性。还进行了逆向蒸馏和前缀续写实验，验证局部推理的有效性和鲁棒性。
结果分析
实验结果显示，POPD在数学推理任务中将训练时间缩短至原来的三分之一，性能保持甚至略优于全轨迹OPD。TOPD在只用10%的推理长度下，达到了与全轨迹相当的准确率，显著节省资源。不同截断比例对性能影响逐渐减弱，验证了局部推理的有效性。理论分析揭示，局部推理避免了未来噪声的累积，增强了模型鲁棒性。逆向蒸馏实验表明，截断推理段已包含足够的推理信息，模型能在有限范围内学习到教师的推理模式。这些结果证明，合理控制推理范围是提升长序列推理训练效率的关键。
应用场景
该方法适用于大规模语言模型的推理训练，尤其在资源有限或需要快速部署的场景中。可用于提升问答系统、自动摘要、代码生成等任务的训练效率，降低硬件成本。未来还可结合多模态信息，扩展到多任务学习和跨领域应用，为工业界提供高效、可扩展的推理模型训练方案。
局限与展望
截断策略在某些需要长距离依赖的任务中可能信息不足，影响模型性能。逐步扩展策略参数调节复杂，需自动调优机制。当前方法主要在数学推理和控制任务验证，泛化到自然语言理解等场景还需进一步验证。未来需研究动态调度机制，优化推理范围，提升模型在多样任务中的适应性。
通俗解读 非专业人士也能看懂
想象你在学习一门新菜，每次只学一部分步骤，比如先学切菜，再学炒菜，然后学调味。刚开始只学前面几步，等掌握了基础，再逐步学习更复杂的步骤。这样做可以避免一开始就被复杂的流程搞晕，也能更快掌握核心技巧。本文的方法也是这样：在训练模型时，不是让它一次性学习完整的推理过程，而是先让它专注于短的推理段，逐步扩展到更长的推理路径。这样可以节省时间和计算资源，还能让模型学得更扎实。最终，模型能在有限的训练时间内掌握复杂推理的核心规律，就像学厨艺一样，从基础到精通。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的游戏，每次都要玩完整一整关，花费很长时间，还可能因为太难而放弃。其实，如果你只练习游戏的前几部分，慢慢熟悉后再挑战更难的关卡，不但省时间，还能学得更快。这就像在训练模型一样，传统的方法让它一次性学习整个长的推理过程，但这样很慢，还容易出错。新方法告诉我们：只学一部分内容，等熟悉了再逐步增加难度，效果反而更好。这样，模型可以在短时间内掌握关键技能，变得更聪明、更快。这就像你逐步成为游戏高手一样，先打好基础，再挑战更高难度，最终变得无敌！
原文摘要
On-policy distillation (OPD) provides dense teacher feedback along student-generated rollouts rather than fixed teacher traces and has emerged as a promising post-training paradigm. However, standard OPD typically generates full rollouts during training, which is computationally expensive and may expose the student to unreliable teacher feedback at late rollout positions, especially during early training. We identify the rollout horizon as a key bottleneck in OPD that substantially impacts training efficiency. Unlike Reinforcement Learning with Verifiable Rewards (RLVR), OPD does not require a final answer reward to provide learning signals. Therefore, full rollouts may not always be necessary for OPD. Motivated by this insight, we propose two simple horizon-control strategies: Progressive OPD (POPD), which gradually expands the rollout horizon during training, and Truncated OPD (TOPD), which permanently performs distillation on reliable truncated rollouts. Experiments on mathematical reasoning show that POPD improves the training efficiency of OPD by up to 3$\times$, while TOPD matches OPD performance using only 10\% of the rollout horizon, leading to substantial wall-clock and memory reductions. These results demonstrate that controlling the rollout horizon offers a simple and practical path to more efficient OPD.