核心发现
方法论
CGD框架将批评利用作为训练信号，训练学生模型在接收教师批评后优化答案。核心机制包括：学生生成初始回答，教师基于此生成批评，模型在此基础上学习生成修正答案。训练目标是最小化教师修正答案的负对数似然。该方法在五个模型家族中均优于CFT和标准蒸馏，特别在数学推理任务中平均提升7%，最高达15%。训练过程中批评仅作为训练信号，推理时模型无需额外推理步骤，避免了格式漂移和能力退化。
关键结果
- 在AMC23任务中，CGD提升了15%，在MATH-500中提升12.2%，显著优于CFT和标准蒸馏。模型在AIME24/25等挑战性竞赛题中表现出更高的Pass@1和低Pass@k性能，表明推理质量提升。在保持指令遵循能力方面，CGD表现优异，CFT在此方面下降21.3%。多模型家族实验显示，CGD具有良好的迁移性和资源效率。
- 在五个模型家族中，CGD平均提升数学推理能力7%，在AMC23和MATH-500等数据集上表现优异。对比CFT，CGD在推理任务中表现更稳健，且在推理过程中无格式漂移。跨模型和跨任务的实验验证了其广泛适用性和高效性，尤其在低采样预算下表现出明显优势。
- 消融实验表明，批评作为训练信号的作用至关重要。去除批评条件后，性能下降高达114%，验证了批评在学习中的关键作用。模型在推理链长度和推理质量方面均有显著改善，说明CGD能有效内化错误检测与修正能力。
研究意义
该研究突破了传统微调的局限，通过引入批评指导的蒸馏策略，有效提升模型的推理能力和泛化能力。避免了多轮推理带来的推理延迟和格式漂移问题，为推理能力的提升提供了新的思路。其资源效率高，适用范围广，具有重要的理论和应用价值，特别是在数学、科学推理等复杂任务中展现出巨大潜力，有望推动AI在教育、科研等领域的深度应用。
技术贡献
CGD创新性地将批评作为训练信号，避免了生成批评的格式漂移问题，显著提升推理能力。其核心在于：模型在训练时学习利用批评进行自我修正，推理时无需额外推理步骤，节省计算资源。该方法在五个模型家族中均验证有效，兼具高效性和迁移性，为推理能力的提升提供了新范式，突破了传统知识蒸馏和多轮推理的限制。
新颖性
首次提出将教师批评作为训练信号而非推理时生成内容，避免了格式漂移和能力退化。与现有的CFT和自我修正方法不同，CGD只在训练中利用批评，推理时无需额外步骤，极大简化了推理流程。其在多个模型和任务中的优异表现，验证了其在推理能力提升中的创新优势。
局限性
- 该方法依赖高质量的教师批评，批评质量不佳可能影响学习效果。批评的准确性和相关性是关键，低质量批评可能导致模型学习偏差。
- 在极端复杂或多步骤推理任务中，批评的表达和理解仍存在挑战，模型可能无法完全内化复杂的推理逻辑。
- 训练过程中对批评的依赖增加了训练复杂度，虽然推理时无额外开销，但训练成本相对较高，尤其在大规模数据集上。
未来方向
未来可探索自动生成高质量批评的机制，结合强化学习优化批评质量。还应研究批评多样性对推理能力的影响，以及在更复杂推理任务中的适应性。同时，结合多模态信息，扩展到视觉推理和跨领域应用，将进一步推动模型推理能力的全面提升。
AI 总览摘要
在人工智能领域，模型推理能力的提升一直是核心挑战。传统微调方法虽能改善模型表现，但在复杂推理任务中仍显不足，且存在格式漂移和能力退化的问题。为解决这一难题，Kapusuzoglu等提出了Critique-Guided Distillation（CGD）框架。该方法通过在训练阶段利用教师模型生成的批评，指导学生模型学习错误检测与修正，而在推理时无需额外步骤即可直接输出高质量答案。CGD的核心创新在于：将批评作为训练信号，避免了格式漂移和推理延迟，显著提升了模型在数学推理和竞赛题中的表现。实验证明，CGD在五个模型家族中平均提升7%，在AMC23和MATH-500等关键数据集上分别达到了15%和12.2%的提升，远超CFT和标准蒸馏。其在AIME24/25等挑战性竞赛中的表现也优异，表明推理能力得到了实质性增强。更重要的是，CGD在保持指令遵循能力方面表现优异，避免了CFT带来的能力退化问题，验证了其在实际应用中的潜力。该研究为推理能力的提升提供了新思路，兼具高效性和迁移性，有望在教育、科研等多个领域引领AI推理技术的突破。
深度分析
研究背景
近年来，随着大规模预训练模型的发展，微调技术成为实现任务适应的主流手段。早期工作如GPT系列、BERT等通过微调获得良好性能，但在推理复杂任务时仍存在局限。近年来，链式推理（Chain-of-Thought, CoT）和示例引导（Few-shot prompting）等技术显著提升了模型推理能力，但仍面临泛化不足和推理延迟问题。Critique Fine-Tuning（CFT）等方法引入批评机制，试图改善模型的错误检测与修正能力，但在训练过程中存在格式漂移和能力退化。当前研究旨在通过训练模型理解和利用教师批评，提升推理的准确性和鲁棒性，解决传统方法中的瓶颈。
核心问题
核心问题在于：如何在不增加推理复杂度的前提下，显著提升模型的推理能力。传统微调只让模型模仿答案，缺乏对错误的理解和修正能力。多轮推理虽能改善表现，但推理过程复杂且计算成本高。CFT等方法在训练中引入批评，但在推理时需要多轮交互，影响效率。如何让模型在训练中学习批评的利用，推理时能直接输出正确答案，成为亟待解决的难题。
核心创新
本研究提出了Critique-Guided Distillation（CGD），创新点在于：
1) 训练阶段利用教师批评作为监督信号，指导模型学习错误检测与修正能力；
2) 在推理阶段，模型无需生成批评，直接输出修正答案，避免格式漂移和推理延迟；
3) 通过在多模型、多任务中验证，展现出优异的迁移性和资源效率。这一策略突破了传统的多轮推理和批评生成的限制，为推理能力的提升提供了新路径。
方法详解
- �� 输入：任务提示和学生模型的初始回答。• 生成：学生模型生成初步答案。• 批评：教师模型基于学生回答生成批评，指出错误。• 修正：教师模型在批评基础上生成修正答案。• 训练：模型学习映射（提示、学生回答、批评）→修正答案，最小化负对数似然。• 推理：仅输入提示，模型直接输出修正答案，无需生成批评或多轮交互。
实验设计
采用WebInstruct和MetaMathQA两个数据集，训练五个模型家族（如LLaMA、Qwen）。对比SFT、Distilled SFT和CFT等基线，评估数学推理、竞赛题和指令遵循能力。通过不同任务和模型验证CGD的有效性，设置统一训练轮次和超参数，确保公平性。重点在于：模型在数学任务中的提升、泛化能力和推理质量。
结果分析
CGD在AMC23和MATH-500中分别提升15%和12.2%，在AIME24/25中表现优异，Pass@1显著提高。在保持指令遵循方面，避免了CFT的性能下降（−21.3%）。跨模型验证显示，CGD在不同模型家族中均有明显优势，迁移性强。消融实验确认批评作为训练信号的关键作用，去除后性能大幅下降。整体结果表明，CGD能有效提升推理能力且训练资源消耗合理。
应用场景
该方法适用于需要高推理能力的应用场景，如教育辅导、科研辅助、自动编程等。只需在训练阶段引入批评信息，无需推理时额外步骤，便于集成到现有系统中。未来可结合自动批评生成和多模态信息，拓展到视觉推理和跨领域任务，推动AI智能水平的全面提升。
局限与展望
依赖高质量批评，批评质量低会影响训练效果。复杂推理任务中，批评表达和理解仍有限。训练成本较高，尤其在大规模数据集上。未来需优化批评生成机制，提升批评质量，降低训练成本，增强模型在极端复杂任务中的表现。
通俗解读 非专业人士也能看懂
想象你在厨房里做菜。每次你做菜时，厨师（教师模型）会品尝并指出哪里做得不好，然后告诉你怎么改进。你学会了根据厨师的建议调整自己的做法，下次就能做得更好。这个过程就像模型学习批评指导：在训练时，模型听到别人的批评，学会自己修正错误，但在真正用的时候，它可以自己直接做出更好的答案，就像你不用再问厨师，自己就能做出美味的菜。这种方法让模型变得更聪明、更可靠，就像厨艺水平提升一样。
简单解释 像给14岁少年讲一样
想象你在学校写作业。有时候你会写错答案，老师（模型）会批评你的答案，告诉你哪里错了，然后你根据老师的建议改正。慢慢地，你学会了自己发现错误，自己改正答案。等你长大了，写作业时不用老师批评也能写得很好，因为你已经学会了自己检查和改正。这就像模型学习批评指导的方法：在训练中，模型听老师的批评，学会修正自己，但在用的时候，它可以自己直接给出正确答案，不需要再问老师。这样，模型变得更聪明、更有用，就像你变成了写作高手一样。
术语表
Critique (批评)
在模型训练中，教师模型提供的关于学生回答错误或不足的详细反馈，帮助模型学习改正。技术上为文本描述，内容指向错误分析。
用在训练阶段，指导模型理解错误并修正答案。
Distillation (蒸馏)
一种模型压缩技术，将大型教师模型的知识迁移到较小的学生模型中，保持性能的同时减小模型规模。技术上通过模仿输出或中间表示实现。
本文中用于将教师模型的推理能力传递给学生模型。
Chain-of-Thought (推理链)
引导模型逐步推导答案的技术，通过生成中间推理步骤增强理解能力。技术上为多轮生成的推理过程。
提升模型在数学和逻辑推理任务中的表现。
Fine-Tuning (微调)
在预训练模型基础上，利用特定任务数据进行的模型参数调整，以适应新任务。技术上为梯度下降优化。
本文中的模型微调策略。
Pass@k
衡量模型在k次采样中至少一次正确的概率，反映模型在少样本推理中的表现。技术上为指标。
用于评估模型在竞赛题中的推理能力。
开放问题 这项研究留下的未解疑问
- 1 如何自动生成高质量、多样化的教师批评以进一步提升模型性能，仍是未解难题。批评的表达需兼顾准确性和多样性，才能最大化训练效果。
- 2 在极端复杂、多步骤推理任务中，模型对批评的理解和利用能力仍有限，未来需探索更有效的批评表达和理解机制。
应用场景
近期应用
教育智能辅导
利用CGD训练的模型可以在数学、科学等学科中提供高质量的答题指导，帮助学生自主学习，提升推理和解题能力。
科研辅助
在科研中，模型可用于自动推理、验证复杂逻辑，减少人类工作量，提高科研效率。
远期愿景
AI自主推理系统
未来模型能自主学习和修正推理策略，成为具备深度理解和推理能力的智能助手，推动AI在教育、科研、决策等领域的深度应用。
原文摘要
Supervised fine-tuning with expert demonstrations often produces models that imitate outputs without internalizing the reasoning processes needed for robust generalization. While critique-based approaches show promise, training models to generate critiques directly, such as Critique Fine-Tuning (CFT), can lead to output-format drift and degradation of general capabilities. We propose Critique-Guided Distillation (CGD), a training framework that decouples critique consumption from critique generation. During fine-tuning, the student is trained to refine flawed responses conditioned on teacher critiques. CGD treats critiques as a \textit{training-time-only} supervision signal, encouraging internalization of error-aware reasoning: critiques guide learning but are absent at inference. Controlled ablations confirm that these reasoning gains are directly driven by the specificity and relevance of the teacher's feedback. Across five model families, CGD consistently outperforms CFT and standard distillation on mathematical reasoning benchmarks, yielding 7\% average improvements and gains of up to +15.0\% on AMC23 and +12.2\% on MATH-500. On challenging competition problems such as AIME24 and AIME25, CGD achieves substantially higher Pass@1 and stronger performance at low Pass@k, indicating improved reasoning quality per sample. Importantly, CGD preserves general instruction-following capabilities where CFT degrades significantly ($-$21.3\% on IFEval). These results position CGD as a practical and compute-efficient intermediate training paradigm for reasoning-centric tasks without introducing architectural inference-time overhead.