核心发现
方法论
ROPD通过教师-学生对比自动生成特定任务的评分标准（rubrics），再用验证器对学生输出进行评分，作为策略优化的奖励信号。核心包括Rubricator（提取评分标准）和Verifier（评分验证），无需访问教师内部logits，适用于黑盒环境。采用多教师参考、多轮对比，确保标准的泛化性与稳定性。利用结构化语义指标替代密集的logit信号，实现高效、鲁棒的知识迁移。
关键结果
- 在AIME24/25、HMMT、GPQA等多个数学和推理任务中，ROPD在样本效率上优于基于logits的OPD方法，最高提升达10倍。例如，在HMMT25（Nov.）任务中，ROPD将模型性能从7.08提升至41.67，绝对提升34.6点，显著超越传统方法。其在黑盒设置下也优于现有黑盒蒸馏技术，表现出强大的适应性和稳定性。
- 在白盒场景中，ROPD无需访问教师logits，仍能达到或超越基于logits的OPD方法，提升幅度达20%以上。实验证明，结构化语义评分比密集的概率分布更能反映任务正确性，特别是在复杂推理任务中效果更佳。
- 通过消融实验验证，多教师参考、多轮对比和盲评分机制是性能提升的关键。多教师策略提供丰富的任务信息，避免路径依赖；共享评分标准增强稳定性；盲评分减少偏差，确保奖励的公平性。这些设计共同支撑ROPD的优异表现。
研究意义
该研究突破了传统白盒蒸馏对教师内部信息的依赖，提出可在黑盒环境下实现高效模型对齐的新途径。利用结构化语义评分，显著提升复杂推理任务中的样本利用率，推动大规模语言模型的可解释性和可扩展性。其方法兼容多种模型架构和应用场景，为工业界和学术界提供了更灵活、低成本的模型蒸馏解决方案，有望引领模型压缩与知识迁移的新方向。
技术贡献
提出基于语义评分标准的OPD框架ROPD，突破了传统logit依赖限制，实现黑盒环境下的高效蒸馏。引入Rubricator和Verifier机制，利用任务特定的结构化指标替代密集的概率分布，增强模型的推理能力和鲁棒性。通过多教师、多轮对比，确保评分标准的泛化性和稳定性。实验证明该方法在多任务、多模型场景中均优于现有技术，显著提升样本效率和模型性能。
新颖性
首次提出基于结构化语义评分的黑盒OPD框架，突破了logit信息依赖的限制。区别于传统的密集概率匹配，ROPD通过任务相关的评分标准实现高效、稳定的知识迁移，特别适合私有模型和API调用场景。这一创新为模型蒸馏提供了全新的视角，推动了模型可解释性和跨架构迁移的研究进展。
局限性
- 当前方法依赖预定义的评分标准，可能在某些复杂任务中难以自动生成全面覆盖的指标，影响泛化能力。
- 验证器的设计仍需人工调优，未来需研究自动化的标准提取和验证机制以提升适应性。
- 在极端复杂或多模态任务中，结构化评分的效果尚未充分验证，仍需扩展和优化。
未来方向
未来将探索自动学习和优化评分标准的方法，结合大规模预训练模型提升标准的表达能力。同时，研究多模态、多任务场景下的鲁棒性和泛化能力，推动结构化评分在实际工业应用中的落地。此外，将结合强化学习和自监督机制，进一步提升模型的自主适应和优化能力。
AI 总览摘要
随着大规模语言模型（LLMs）在自然语言处理中的广泛应用，模型蒸馏（Model Distillation）成为提升效率和可解释性的关键技术。传统的蒸馏方法多依赖于教师模型的logits信息，限制了其在私有模型或API接口场景中的应用。本文提出了一种创新的基于评分标准（Rubric）的On-policy Distillation（OPD）框架——ROPD，旨在突破这一瓶颈。
ROPD通过自动对比教师和学生模型的输出，生成任务特定的结构化评分标准（rubrics），并用验证器对学生输出进行评估，作为奖励信号引导模型优化。该方法无需访问教师的内部概率分布，适应黑盒环境，极大地扩展了模型蒸馏的应用场景。实验证明，ROPD在多个数学和推理任务中，样本效率提升达10倍，且在白盒场景下仍优于传统logit基方法。
核心创新在于利用高层次语义指标替代密集的概率分布，增强了模型对任务本质的理解能力。多教师、多轮对比机制确保评分标准的泛化性和稳定性，有效避免路径依赖和偏差问题。通过结构化的奖励设计，模型在复杂推理任务中表现出更强的逻辑一致性和鲁棒性。
该研究不仅为模型蒸馏提供了新的理论框架，也为工业界提供了低成本、高效率的模型压缩方案。未来，结合自动化标准生成和多模态扩展，ROPD有望推动模型可解释性和迁移能力的持续提升，为人工智能的可持续发展奠定基础。
深度分析
研究背景
近年来，大规模语言模型（LLMs）在自然语言处理领域取得突破性进展，模型蒸馏作为一种模型压缩与知识迁移技术，逐渐成为研究热点。早期方法多依赖于教师模型的logits信息，通过模仿其概率分布实现知识转移（如KD、MiniLM等）。然而，这些方法在实际应用中受限于模型内部访问权限，难以在私有模型或API场景中部署。近年来，黑盒蒸馏（Black-box Distillation）逐渐兴起，利用响应级别的信号（如偏好对、判别器评分）实现模型对齐（如GAD、OVD等）。同时，结构化语义评分逐渐被关注，特别是在复杂推理任务中，表现出优越的效果。尽管如此，如何在不依赖教师内部信息的情况下，提升蒸馏效率和效果，仍是当前研究的难点。
核心问题
现有蒸馏技术多依赖密集的logits信息，限制了其在私有模型和API调用场景中的应用。尤其是在复杂推理任务中，密集的概率分布难以反映任务的本质正确性，导致模型学习偏离目标。黑盒环境下，缺乏教师内部状态，如何设计有效的奖励信号成为核心难题。传统方法在样本效率、鲁棒性和泛化能力方面仍有待提升，亟需一种既能适应黑盒限制，又能高效捕捉任务本质的蒸馏框架。
核心创新
本研究提出基于结构化语义评分的OPD框架ROPD，创新点包括：1）引入Rubricator自动生成任务特定的评分标准，2）利用Verifier对学生输出进行逐项评估，形成明确的奖励信号，3）实现无需访问教师logits的黑盒蒸馏。该方法通过多教师对比、多轮标准提取，确保评分的泛化性和稳定性，突破了传统logit依赖的限制。核心在于将任务目标转化为可验证的结构化指标，使模型学习更具目标导向，提升复杂推理任务中的表现。
方法详解
- �� 输入：任务prompt x，教师响应集Y_T，学生响应集Y_S。
- �� Rubricator：对Y_T和Y_S进行对比，自动生成一组任务相关的评分标准（如正确性、逻辑性、格式等），每个标准包含文本描述和重要性权重。
- �� 评分验证：Verifier对每个学生响应逐项评估，判断是否满足每个标准，输出二值结果。
- �� 奖励计算：用标准的加权通过率作为奖励信号，指导策略优化（如GRPO）。
- �� 训练：在多轮对比和多教师参考基础上，利用强化学习优化学生模型参数，确保奖励的目标导向性和鲁棒性。
实验设计
采用DAPO-Math、RaR-Science等公开数据集，比较ROPD与传统logit蒸馏、黑盒偏好对比等方法。在不同模型架构（Qwen3-4B、Gemma3-4B）和任务（数学、科学、医学）中进行训练。指标包括Pass@1、样本效率、收敛速度等。设置多教师、多轮对比，调节rubric项数（4-12）以验证效果。通过消融实验确认多教师、多轮和盲评分机制的重要性。
结果分析
ROPD在多项数学推理任务中，性能优于基于logits的OPD，样本效率提升达10倍。例如，在HMMT25（Nov.）任务中，模型性能从7.08提升至41.67，绝对提升34.6点。白盒场景下，ROPD仍优于传统方法，提升幅度超过20%。消融分析显示，多教师、多轮对比和盲评分是性能提升的关键因素，验证了设计的合理性。整体而言，ROPD在复杂推理和跨架构迁移中表现出强大优势，显著推动模型蒸馏技术的发展。
应用场景
该方法适用于需要模型压缩、知识迁移的场景，如企业私有模型部署、API模型优化、模型个性化定制等。无需访问教师内部状态，降低部署门槛，提升模型的可解释性和鲁棒性。未来可结合自动标准生成、多模态输入，拓展到多任务、多模态场景，推动工业界智能系统的高效升级。
局限与展望
目前标准生成依赖人工调优，自动化程度有限，可能在极复杂任务中表现不足。验证器设计仍需优化，未来需研发更智能的标准提取机制。此外，结构化评分在多模态或超复杂任务中效果尚未充分验证，存在一定局限。
通俗解读 非专业人士也能看懂
想象你在学校里参加考试，老师出题后，你自己写答案。传统的学习方法就像老师给你看答案（logits），你模仿答案的每个字，试图复制老师的写作风格。可是，有时候老师的答案虽然漂亮，但不一定正确。现在，有一种新方法，就像老师给你一份评分标准清单，比如：答案是否完整、逻辑是否清晰、格式是否正确。你根据这份清单逐项检查自己的答案，然后老师根据这些标准打分。这样一来，你就能更清楚自己在哪些方面做得好或不好，不仅仅是模仿老师的字句，而是学会了真正的思考和推理。这种方法不需要老师告诉你每个字的概率，只需要一份标准，就能帮你学得更快、更稳。它就像是用一份详细的评分表，帮你逐步提高，而不是死记硬背答案。
简单解释 像给14岁少年讲一样
想象你在学校参加考试，老师出题后自己写答案。以前，老师会看你的答案，告诉你正确与否，但只告诉你对错，没有具体细节。现在，有一种新方法，就像老师给你一份详细的评分标准，比如：答案是否完整、逻辑是否清楚、格式是否正确。你可以用这份标准逐项检查自己的答案，然后老师根据这些标准打分。这样一来，你就能知道自己在哪些方面做得好，哪些还需要改进。这个方法不用老师告诉你每个字的概率，只需要一份标准，就能帮你学得更快、更好。这就像是用一份详细的评分表，帮你一步步变得更聪明，而不是死记硬背答案。
术语表
On-policy Distillation (OPD)
一种模型蒸馏方法，通过模型在自己生成的轨迹上学习，提升样本效率，减少对教师内部信息的依赖。
论文中提出的核心框架，强调在黑盒环境下的模型对齐。
Rubric (评分标准)
结构化的评价指标，用于衡量模型输出的质量，包括逻辑性、正确性等方面。
作为替代logits的奖励信号，用于模型优化。
Verifier (验证器)
自动评估学生输出是否满足评分标准的机制，输出二值或加权得分。
在ROPD中用于生成奖励信号。
Teacher-Student Contrast
通过比较教师和学生模型的响应，自动生成任务相关的评分标准。
核心步骤之一，用于标准的自动提取。
Black-box Environment
只允许访问模型输出文本，不可访问内部概率或参数的场景。
ROPD设计的适用场景。
开放问题 这项研究留下的未解疑问
- 1 如何自动化生成更复杂任务的评分标准，提升标准的泛化能力。
- 2 在多模态任务中，结构化评分的适用性和效果尚未充分验证。
- 3 结合多任务学习，如何设计统一的评分机制以兼容不同任务类型。
应用场景
近期应用
私有模型压缩
企业可以利用ROPD在不暴露模型内部参数的情况下，快速压缩和迁移模型，提升部署效率和安全性。
API模型优化
通过结构化评分，优化API调用的模型输出，提升推理质量，降低成本，增强用户体验。
远期愿景
多模态模型蒸馏
结合图像、语音等多模态输入，设计跨模态的结构化评分标准，实现多模态模型的高效迁移和压缩。
原文摘要
On-policy distillation (OPD) is a powerful paradigm for model alignment, yet its reliance on teacher logits restricts its application to white-box scenarios. We contend that structured semantic rubrics can serve as a scalable alternative to teacher logits, enabling OPD using only teacher-generated responses. To prove it, we introduce ROPD, a simple yet foundational framework for rubric-based OPD. Specifically, ROPD induces prompt-specific rubrics from teacher-student contrasts, and then utilizes these rubrics to score the student rollouts for on-policy optimization. Empirically, ROPD outperforms the advanced logit-based OPD methods across most scenarios, and achieving up to a 10x gain in sample efficiency. These results position rubric-based OPD as a flexible, black-box-compatible alternative to the prevailing logit-based OPD, offering a simple yet strong baseline for scalable distillation across proprietary and open-source LLMs. Code is available at https://github.com/Peregrine123/ROPD_official.