Decoupled Contrastive Decoding via Expert-Aligned Drafting

近年来，大规模语言模型（LLMs）在自然语言理解和生成方面取得突破，代表性工作如GPT系列、LLaMA、Qwen等不断推动模型规模和性能提升。对比解码（Li et al., 2023）作为一种提升生成质量的技术，通过引入专家-业余模型差异，改善模型输出的合理性。尽管如此，传统对比解码仍需多次模型推理，导致推理成本高昂，限制了其在实际场景中的应用。近年来，研究者尝试通过模型剪枝、蒸馏、分层推理等方法优化推理速度，但效果有限。系统性分析提议路径设计对效率的影响尚未充分展开，特别是在保持生成质量的前提下，如何实现高效推理成为亟待解决的问题。

核心问题在于如何在保证生成质量的同时，大幅降低推理成本。传统对比解码依赖于多次模型推理，导致计算资源消耗巨大，难以满足工业应用需求。业余模型在提议阶段的误差较大，影响最终输出的质量，而专家模型虽准确但推理成本高昂。如何在提议阶段利用专家模型的优势，同时在验证阶段用业余模型校正，成为提升效率的关键。现有方案多未能系统性解决提议路径设计的效率与质量平衡问题，限制了对比解码的实际推广。

本文的核心创新在于提出解耦对比解码（DCD）框架，将提议阶段的专家对齐轻量模型与验证阶段的业余模型有效分离。具体包括：• 设计专家对齐的轻量提议器，显著降低提议成本；• 在验证阶段保持对比目标不变，确保输出无损；• 采用系统诊断揭示对比感知提议未能持续优于专家对齐，强调验证阶段的重要性；• 实现基于EAGLE3和N-gram的加速方案，显著提升推理速度。这一创新突破了传统联合提议的局限，提供了高效、可扩展的推理解决方案。

• �� 设计三种提议路径：业余模型直采、对比感知轻量提议器、专家对齐提议器+验证。
• �� 采用Cross-alpha训练和近似双提议器分解，验证对比感知提议未能持续优于专家对齐，因对比校正通常弱于提议误差，重建会放大误差。
• �� 提出解耦对比解码（DCD），在提议阶段用专家对齐的轻量模型生成提议，只在验证阶段用业余模型进行对比校正，保证输出的无损性。
• �� 利用EAGLE3和N-gram提议器实现不同模型规模的加速，确保在不同任务中均表现出显著速度提升。
• �� 通过系统诊断和实证验证，分析提议路径设计对推理速度和质量的影响，验证方案的有效性。

采用GSM8K、MMLU、HumanEval等多个任务数据集，比较传统对比解码、SCD、CoS和本文提出的DCD方案。在不同模型规模（如8B、70B）上，设置不同α值（0.1、0.5）进行速度和准确率评估。通过多轮抽样和诊断分析，验证提议路径的效率提升和输出一致性。采用平均速度、提议延迟和任务准确率作为主要指标，结合ablation研究分析不同提议策略的影响。

在8B模型配置下，DCD实现平均1.65-1.95倍的贪婪速度提升，Proposal路径延迟降低5-12倍，明显优于SCD和CoS。不同任务中，DCD在保持或略优于传统方法的同时，大幅降低推理成本。系统性验证显示，提议路径解耦保证了输出的无损性，且在不同模型规模和任务中表现稳定。对比诊断揭示，业余模型难以利用对比信号，验证阶段保持对比目标的正确性是关键。整体结果证明，DCD在效率和质量之间实现了良好平衡。

该技术适用于大规模语言模型的工业部署，如智能客服、自动编程、内容生成等场景。只需在验证阶段引入业余模型校正，无需额外训练，极大降低推理成本。未来可结合硬件优化、模型剪枝，推动模型在边缘设备上的应用，提升响应速度和能效。

当前方案依赖专家对齐的轻量提议器，若提议器性能不足，可能影响效果。验证阶段仍需较强对比模型，若对比模型偏弱，校正效果会受影响。极端复杂任务或超大模型规模下，速度提升有限，仍需优化提议策略和硬件支持。