核心发现
方法论
CoDistill-GRPO结合群相对策略优化（GRPO）与协同蒸馏机制。小模型通过on-policy知识蒸馏（KD）奖励学习大模型分布，大模型由小模型生成rollout并利用重要性重采样更新。两者互为教师与学生，优化目标包括设计的GRPO损失与KD奖励，减少rollout计算成本。算法核心在于同时训练两模型，利用多次生成的rollout进行筛选，提升小模型推理能力，且保证大模型性能接近传统GRPO。具体实现包括多阶段采样、奖励重加权、rollout筛选和梯度解耦。
关键结果
- 在Qwen2.5-Math-1.5B模型上，使用CoDistill-GRPO后，数学推理准确率提升11.6个百分点（从20.37%到31.99%），比标准GRPO提升6.0个百分点（从25.88%到31.99%），在Minerva数据集上表现优异。大模型（Qwen2.5-Math-7B）训练后几乎达到标准GRPO性能，训练速度提升约18%，显著降低成本。
- 在Llama模型上，CoDistill-GRPO同样有效，显著改善数学推理任务表现，平均提升超过15%。多项基准测试（如MATH500、AMC2024）中，模型性能均优于仅用GRPO或静态大模型蒸馏的方法。
- 理论分析表明，算法梯度估计无偏，且通过引入KD奖励，增强小模型学习能力，提升训练效率。多轮rollout筛选策略有效平衡探索与利用，确保训练稳定性与性能提升。
研究意义
该研究突破了传统GRPO在小模型上的稀疏奖励瓶颈，通过联合训练与协同蒸馏，显著提升小模型推理能力，降低训练成本。为大规模语言模型的高效训练提供新思路，特别适用于资源有限场景。其创新机制也为未来多模型协同优化提供理论基础，推动AI在复杂推理任务中的应用普及。
技术贡献
提出CoDistill-GRPO算法，结合多模型联合训练、重要性重采样与筛选机制，优化策略学习过程。理论上证明梯度估计无偏，增强了算法的数学基础。该方法在保证模型性能的同时，大幅降低rollout计算开销，提升训练速度达18%。此外，算法设计兼容多模型架构，拓展了策略优化的应用边界，为未来大模型训练提供了高效的技术方案。
新颖性
首次提出同时训练大模型与小模型的协同蒸馏策略，结合GRPO与on-policy KD奖励，有效缓解小模型稀疏奖励问题。区别于传统的静态教师蒸馏，算法实现动态互助，提升训练效率与模型性能。创新点在于利用多轮rollout筛选与重要性重采样，显著降低计算成本，且在大模型训练中实现近似性能。
局限性
- 算法依赖多轮rollout筛选，仍需一定计算资源，尤其在大规模模型上可能存在瓶颈。
- 对奖励设计敏感，参数调优（如α值）影响训练稳定性与效果，需经验调整。
- 在极端复杂任务或超大模型上，效果可能受限，仍需结合其他技术优化。
未来方向
未来将探索多模型协同训练的理论边界，优化筛选机制及奖励设计，提升算法在更复杂任务中的适应性。还计划结合自监督预训练与微调策略，扩展应用场景，推动大模型训练的成本效益提升。
AI 总览摘要
本研究提出了CoDistill-GRPO，一种结合群相对策略优化（GRPO）与协同知识蒸馏的联合训练框架。面对小模型在复杂推理任务中因奖励稀疏而表现不佳的问题，作者设计了多轮rollout生成、奖励重加权及筛选机制，有效提升小模型推理能力。该方法通过在训练过程中动态互助，使小模型从大模型的分布中学习，同时利用小模型生成的rollout优化大模型，极大降低了训练成本。实验证明，在Qwen和Llama模型上，算法实现了超过11%的准确率提升，并将训练速度提升18%，为大规模模型的高效训练提供了新思路。理论分析保证了梯度估计的无偏性，为算法的稳定性提供保障。该工作不仅在数学推理任务中展现出优异性能，也为未来多模型协同训练和知识蒸馏技术的发展奠定了基础。未来将继续优化筛选策略，拓展应用场景，推动AI推理能力的普及与提升。
深度分析
研究背景
近年来，深度学习中的大规模语言模型（如GPT、LLaMA）在自然语言理解和推理任务中取得突破，但训练成本极高。为降低成本，知识蒸馏（KD）和强化学习（RL）策略被广泛应用。特别是在数学推理等复杂任务中，模型表现受限于奖励稀疏和训练效率。传统方法多依赖预训练或静态大模型作为教师，存在效率低、成本高的问题。近年来，群相对策略优化（GRPO）作为一种无需训练值函数的策略优化算法，因其简洁高效而受到关注，但在小模型上仍面临奖励稀疏瓶颈。为解决这一难题，本文提出了协同蒸馏机制，结合多轮rollout筛选，提升小模型推理能力，推动大模型训练的高效化。
核心问题
核心问题在于小模型在复杂推理任务中因奖励稀疏，学习缓慢甚至停滞，导致训练效果不理想。传统方法依赖大模型作为教师，存在训练时间长、模型差异大带来的性能瓶颈。此外，rollout生成成本高，难以在大规模训练中普遍应用。如何在保证模型性能的同时，降低训练成本、提升效率，成为亟待解决的关键问题。
核心创新
本研究的创新点包括：1）提出协同蒸馏（CoDistill）机制，联合训练大模型与小模型，避免单向依赖；2）引入多轮rollout筛选策略，通过奖励重加权筛选出最具代表性样本，提升训练效率；3）结合GRPO与on-policy知识蒸馏，设计有效奖励机制，增强小模型学习能力；4）理论上证明梯度估计无偏，确保训练稳定性。这些创新共同推动了小模型在复杂推理任务中的性能提升，显著降低训练成本。
方法详解
- �� 初始化大模型和小模型参数，设定训练数据和超参数。• 在每轮训练中，从数据集中采样prompt，先由大模型生成部分hint（T个tokens），作为提示输入小模型。• 小模型完成剩余tokens，生成完整序列。• 计算奖励：大模型用标准奖励（如准确率），小模型用结合KD的有效奖励（加入对大模型分布的匹配项）。• 利用多轮rollout，筛选出奖励最高和最低的样本，进行下采样。• 通过梯度反向传播，分别更新大模型和小模型参数，优化目标包括GRPO损失和KD奖励。• 重复上述步骤，逐步提升模型性能，直至收敛。
实验设计
在Qwen和Llama模型上，使用数学推理基准（Minerva、MATH500、AMC2024、OlympiadBench）进行评估。对比基线包括标准GRPO和静态大模型蒸馏。超参数包括rollout数量（M=14）、筛选后样本数（G=8）、奖励系数（α=1或2）等。训练过程中，采用多轮rollout生成、多次筛选和梯度优化，确保模型在复杂推理任务中的表现提升。
结果分析
在Qwen2.5-Math-1.5B模型上，使用CoDistill-GRPO后，准确率从20.37%提升至31.99%，比标准GRPO提升6.0个百分点（25.88%到31.99%）。在Minerva数据集上，性能提升显著，训练速度提升18%。在Llama模型上，平均性能提升超过15%，在多个基准任务中表现优异。理论分析验证了梯度无偏性，筛选机制有效平衡探索与利用，整体提升训练效率和模型性能。
应用场景
该算法适用于需要高效推理能力的场景，如自动问答、数学题解、代码生成等。在资源有限的环境中，能显著降低训练成本，加快模型部署速度。未来，结合多任务学习和自监督预训练，有望推动大模型在工业界的广泛应用，尤其是在边缘设备和实时系统中实现高性能推理。
局限与展望
尽管算法降低了训练成本，但多轮rollout筛选仍需一定计算资源，尤其在超大模型上可能存在瓶颈。参数调优（如α值）对性能影响较大，且在极端复杂任务中效果尚待验证。此外，算法对奖励设计敏感，可能在某些任务中表现不佳，未来需优化奖励机制和筛选策略。
通俗解读 非专业人士也能看懂
想象你在做一道难题，比如拼装一台复杂的机械装置。你有两个助手：一个经验丰富、懂得很多（大模型），另一个新手（小模型）。大助手可以给你一些提示，但每次提示都很费时间。小助手可以自己尝试拼装，但容易迷路。为了快点成功，你让两个助手合作：大助手先给出部分提示，小助手根据提示继续拼装，然后你根据拼装的效果给他们评分。你还让他们多试几次，挑出最好的方案。这样，两个助手互相学习，既节省时间，又能拼装得更好。这个过程就像论文中的算法，让小模型学得更快、更准，同时减少了繁琐的计算。
简单解释 像给14岁少年讲一样
想象你在学校里参加拼图比赛。有两个队友：一个是经验丰富的老师（大模型），另一个是新手学生（小模型）。老师可以给你一些提示，但每次都要花很多时间。学生可以自己试着拼，但有时候拼错了。为了赢得比赛，你让老师先帮忙画出一部分拼图（提示），学生根据提示继续拼。然后，你根据拼图的完整度给他们打分，鼓励学生多试几次，挑出最好的拼图。老师和学生不断互相学习，学生变得越来越厉害，老师也能更快地指导。这个方法就像论文里的CoDistill-GRPO，让小模型学得更快、更准，还能节省时间和精力。
术语表
Group Relative Policy Optimization (GRPO)（群相对策略优化）
一种无需训练值函数的策略优化算法，通过比较多个策略的相对优势，提升模型在复杂任务中的表现。
论文中用以优化大模型和小模型的策略，提升推理能力。
Knowledge Distillation (KD)（知识蒸馏）
将大模型的知识转移到小模型中，通过优化两者的概率分布相似性，减少模型复杂度。
作为提升小模型性能的重要手段，在本文中结合on-policy奖励使用。
Importance Reweighting（重要性重采样）
根据样本的相对重要性调整其在训练中的权重，以减少偏差，提高训练效率。
在rollout生成中，用于对由小模型生成的样本进行重加权。
Rollout（展开）
在强化学习中，指模型从起点逐步生成一段序列，用于评估策略性能。
本文中由模型生成用于训练和筛选的文本序列。
开放问题 这项研究留下的未解疑问
- 1 如何在极端复杂或多任务环境中进一步提升多模型协同训练的稳定性和效率仍未充分解决。
- 2 多轮筛选机制的最优策略和参数调优方法尚需深入研究，以适应不同任务和模型规模。
- 3 未来需探索结合自监督预训练的多模型联合训练框架，提升泛化能力和适应性。
应用场景
近期应用
数学题解与推理助手
可用于教育、科研和工业中的数学推理、自动解题系统。通过高效训练，提升模型在复杂推理中的准确性，降低训练成本，适合资源有限的场景。
智能问答与内容生成
应用于客服、内容创作等行业，提升模型理解和生成能力，尤其在需要高精度推理的任务中表现优异。
远期愿景
大规模多任务通用AI
未来结合多模型协同训练，打造高效、通用的AI系统，能在多领域、多任务中实现快速适应与推理，推动智能化普及。
原文摘要
Group Relative Policy Optimization (GRPO) has emerged as a powerful algorithm for improving the reasoning capabilities of language models, but often fails to improve small models due to sparse rewards on difficult tasks. Existing works mitigate this issue by leveraging a larger model, either to provide hints for rollouts or to provide dense reward signals through knowledge distillation (KD). However, this assumes the existence of such an oracle, and training one can significantly increase total training time. In this work, we propose CoDistill-GRPO, a co-distillation algorithm that simultaneously trains a large and a small model by maximizing carefully designed GRPO objectives. The two models learn from each other: the small model uses an on-policy KD reward to learn from the large model's distribution, while the large model is updated using rollouts generated by the small model with importance reweighting, reducing the computational overhead of rollout generation. We show that CoDistill-GRPO substantially improves small model performance over standard GRPO on mathematical benchmarks across both Qwen and Llama models. Specifically, with Qwen2.5-Math-1.5B, we observe an accuracy increase of over 11.6 percentage points over the base model and an additional 6.0 percentage points over GRPO on the Minerva dataset. Interestingly, the larger model (Qwen2.5-Math-7B) trained with CoDistill-GRPO nearly matches standard GRPO performance despite training on small-model rollouts. This highlights CoDistill-GRPO as a cost-effective alternative to GRPO for larger models, yielding an approximate 18% speedup, which may be of independent interest.