核心发现
方法论
CForce基于自回滚轨迹，利用邻接阶段一致性约束，通过Confidence Adaptive KL Divergence（CAD）调节前向与逆向KL的融合，强化模型在早期低上下文状态下的预测可靠性。训练过程中，模型在不同阶段的预测通过停止梯度的方式进行对齐，结合交叉熵锚点稳定Token的确定。该方法适用于mask-to-token（M2T）和token-to-token（T2T）两类解码，特别是在编辑能力模型中，后续T2T修正为早期预测提供了丰富的监督。
关键结果
- 在LLaDA2.1-mini模型上，CForce提升平均Tokens Per Forward（TPF）从6.94到9.08，同时准确率从85.57%提升至86.41%，在高并行预算下显著改善速度与质量的折衷。
- 在非编辑LLaDA2.0-mini模型中，CForce实现TPF从3.60提升到6.42，且在固定TPF预算下提高少步解码的准确率，验证其在多场景中的适应性。
- 理论分析表明，邻接阶段一致性目标近似最小化早期预测误差，提供了坚实的理论支撑。
研究意义
该研究突破了传统只关注减少解码步骤的思路，强调早期预测的可靠性在高并行解码中的关键作用，为大规模dLLMs的高速高质量生成提供新路径。通过引入自模型的邻接阶段一致性约束，有效缓解了早期预测误差的累积问题，推动了模型在实际应用中的实用性和鲁棒性。此方法不仅适用于文本生成，还对代码、问答等多模态任务具有潜在价值，具有广泛的行业应用前景。
技术贡献
本文提出的CForce方法创新性地将一致性模型思想引入dLLMs训练，通过邻接阶段的软目标对齐，结合Confidence Adaptive KL Divergence实现动态平衡，显著提升早期状态的预测准确性。理论分析证明该目标在控制预测误差方面具有良好的界限保证，为模型训练提供了新的理论基础。该方法兼容mask-to-token和edit-capable解码，为多样化任务提供统一框架，拓展了模型蒸馏和加速的技术边界。
新颖性
首次在大规模dLLMs中引入邻接阶段一致性正则，利用模型自身轨迹进行训练，避免依赖外部教师或固定目标。这一策略不同于传统蒸馏或校准方法，强调模型内部的轨迹一致性，特别适合高速并行解码场景。结合动态调节的CAD机制，创新性地实现了前向与逆向KL的融合，提升了预测的稳定性和准确性，具有较强的创新性。
局限性
- 当前方法依赖预先采集的轨迹，可能在轨迹质量不足或多样性有限时影响效果；在极端高并行解码设置下，仍存在一定的预测不稳定风险；理论分析假设模型已充分训练，实际应用中可能受训练不足影响。
未来方向
未来将探索多模态任务中的一致性正则扩展，结合强化学习优化解码策略，以及在更大规模模型和多任务环境中的适应性验证。此外，结合自监督信号和多阶段训练，进一步提升模型的鲁棒性和泛化能力，也是潜在研究方向。
AI 总览摘要
随着大规模深度学习模型的不断发展，提升文本生成速度与质量的平衡成为核心挑战。传统方法多关注减少解码步骤，但在高并行解码场景中，早期预测的不可靠性成为瓶颈。本文提出的CForce方法，通过引入邻接阶段一致性正则，有效强化模型在低上下文状态下的预测能力，显著改善了高速解码的性能表现。
CForce利用模型自身轨迹，将不同阶段的预测进行对齐，结合Confidence Adaptive KL机制动态调节前向与逆向KL的权重，从而在保证预测稳定性的同时，提升预测的准确性。训练过程中，模型在不同阶段的预测通过停止梯度的方式进行软对齐，配合交叉熵锚点，稳定Token的确定过程。这一策略适用于mask-to-token和编辑能力模型，特别是在后续T2T修正的场景中，提供了丰富的监督信息。
实验结果显示，在LLaDA系列模型上，CForce显著提升了解码速度与生成质量的折衷性能。在LLaDA2.1-mini模型中，平均Tokens Per Forward从6.94提升至9.08，准确率提高至86.41%。在非编辑模型中，TPF从3.60提升到6.42，验证了其在多场景中的适应性。理论分析进一步证明，该方法通过邻接阶段的误差界限，有效控制早期预测误差，为未来大规模高速生成提供了理论支撑。
总体而言，CForce为大规模dLLMs的高速高质量解码提供了创新路径，推动了模型训练与推理的深度融合。未来，结合多模态任务、多任务学习和强化策略，有望实现更广泛的应用和更强的模型鲁棒性。
深度分析
研究背景
深度学习中的大规模语言模型（如GPT、BERT）已成为自然语言处理的核心工具。近年来，基于扩散（Diffusion）思想的模型逐渐崭露头角，尤其是masked diffusion language models（MDLMs），通过逐步去噪实现文本生成。代表性工作包括Austin等的Masked Diffusion（2021）和Lou等的扩展（2024），这些模型在生成质量上优于传统自回归模型，但解码速度仍受制于逐步去噪的计算成本。为提升速度，研究者提出了多种加速策略，如高并行解码（Wu et al., 2025）、模型蒸馏（Zhang et al., 2026）和缓存机制（Liu et al., 2025b）。此外，编辑能力模型（如Bie et al., 2026）引入了后续T2T修正，增强了模型的修正能力和鲁棒性。尽管如此，早期状态预测的可靠性不足，仍限制高速解码的性能提升。
核心问题
在高并行解码中，模型在早期低上下文状态下的预测不稳定，导致错误传播，影响最终输出质量。传统方法多关注减少解码步骤，但忽视了早期预测的准确性，尤其在编辑模型中，早期预测的错误会被后续修正所影响。如何在保证速度的同时，提高早期预测的可靠性，成为亟待解决的问题。现有的蒸馏和校准技术难以充分利用模型自身轨迹，缺乏对不同阶段预测一致性的系统约束，限制了高速解码的潜力。
核心创新
本文提出的CForce方法引入邻接阶段一致性正则，利用模型自回滚轨迹，通过软目标对齐，强化早期状态的预测能力。核心创新包括：1）基于模型轨迹采样，构建邻接阶段的软目标，避免外部教师依赖；2）设计Confidence Adaptive KL（CAD）机制，动态调节前向与逆向KL的融合，平衡稳定性与模式探索；3）引入交叉熵锚点，稳定Token的确定，特别是在编辑场景中，后续T2T修正提供了丰富的监督信号。这些创新使得模型在高速解码中保持更高的预测准确率，显著改善了速度与质量的折衷。
方法详解
- �� 采集模型在阈值解码下的轨迹，划分邻接阶段。
- �� 每个阶段由固定的已揭示Token数定义，避免存储开销。
- �� 构建邻接阶段对，利用后阶段预测作为前阶段的目标，停止梯度反向传播。
- �� 设计Confidence Adaptive KL（CAD）调节前向与逆向KL，根据信心动态融合。
- �� 在新揭示Token位置应用交叉熵锚点，稳定Token确定。
- �� 在编辑模型中，利用T2T修正信号扩展监督范围。
- �� 采用逐步递增的调度策略，逐渐暴露后续上下文，增强模型鲁棒性。
实验设计
在LLaDA系列模型（LLaDA2.0-mini和LLaDA2.1-mini）上进行评估，使用OpenMath-Instruct-2和OpenCode-Instruct作为数据源。指标包括Score、TPF和AUP，比较不同解码策略的性能。实验设置包括不同阈值、阶段大小和训练轮数，进行消融分析验证各组成部分的贡献。对比基线模型和不同变体，验证CForce在速度、准确率和鲁棒性上的提升。还在不同任务（数学推理、代码生成）中测试泛化能力。
结果分析
CForce在LLaDA2.1-mini模型上，将平均TPF从6.94提升到9.08，准确率从85.57%提高到86.41%，在高并行预算下表现优异。非编辑模型中，TPF从3.60提升到6.42，验证了其在多场景中的适应性。理论分析显示，邻接阶段正则近似最小化早期预测误差，提供了坚实的理论基础。消融实验表明，阶段大小和调度策略对性能影响显著，验证了设计的合理性。
应用场景
该方法适用于需要高速生成的应用场景，如自动问答、代码补全、内容创作等。特别是在资源有限或实时响应要求高的场合，提升预测可靠性和速度至关重要。模型训练只需在预采集轨迹上进行，无需额外教师，易于集成到现有大模型架构中。未来，结合多模态和多任务学习，有望推动智能助手、自动编程等行业的快速发展。
局限与展望
依赖预先采集的轨迹，轨迹质量直接影响效果；在极端高并行解码中，仍可能出现预测不稳定；理论分析假设模型已充分训练，实际应用中可能受训练不足影响。未来需优化轨迹采集策略和模型鲁棒性。
通俗解读 非专业人士也能看懂
想象你在做一道复杂的菜，厨师（模型）需要在有限时间内准备出美味佳肴。传统方法像是一步步按照菜谱操作，速度快但容易出错。CForce就像是厨师自己反复观察之前的步骤，确保每一步都做得稳妥，然后再继续下一步。它让厨师在早期就能判断自己是否做得对，避免后续的错误堆积。通过不断调整自己的判断，厨师能更快做出更好的菜。这个方法让厨师在快节奏的厨房里，既快又稳，做出美味的菜肴。这就像模型在生成文本时，提前校准自己的预测，确保每个字都更准确，整体效果也更好。
简单解释 像给14岁少年讲一样
想象你在写一篇作文，刚开始写的时候，可能会写错字或句子不通顺。传统的方法就像是写完后再检查，慢而不一定准。CForce就像是你在写的同时，不断回头看看自己之前写的内容，确保没有错，然后再继续写。它会帮你提前发现问题，避免错误堆积，写出来的作文就会更流畅、更漂亮。这个方法让你在写作时既快又稳，不容易出错，也能写出更好的内容。就像模型在生成文本时，提前校准每个字的预测，保证整体更准确、更自然。
术语表
邻接阶段一致性（Adjacent-stage Consistency）
在模型不同解码阶段之间，通过对齐预测分布，确保早期预测与后续修正保持一致。技术上利用停止梯度的软目标对齐。
本文引入的核心技术，用于提升早期预测的可靠性。
Confidence Adaptive KL（CAD）
一种动态调节前向与逆向KL的机制，根据预测置信度调整两者的融合比例，以实现更稳定的分布对齐。
在模型训练中，用于平衡稳定性与模式探索。
mask-to-token（M2T）
从掩码状态逐步预测出Token的解码方式。
模型在解码时的基本策略之一。
token-to-token（T2T）
在已生成Token基础上进行修正或优化的解码方式。
编辑能力模型中的关键机制。
自回滚轨迹（Self-rollout Trajectory）
模型在不同阶段的预测路径，用于训练中的邻接阶段对齐。
训练过程中采集的模型轨迹，用于一致性正则。
开放问题 这项研究留下的未解疑问
- 1 如何在极端高并行解码中进一步保证预测稳定性仍是挑战，特别是在模型规模扩大和任务复杂化背景下，现有方法可能不足以应对所有不确定性。未来需要结合更复杂的动态调节机制和多模态信息，提升模型的鲁棒性和泛化能力。
应用场景
近期应用
高效问答系统
利用CForce提升大模型在实时问答中的速度与准确率，适合在线客服、智能助手等场景，确保快速响应且内容可靠。
自动代码生成
在编程辅助中，增强模型的预测稳定性，减少错误，提升代码补全和修正效率，适合开发者使用。
远期愿景
智能内容创作平台
结合高速解码与高质量输出，推动自动写作、内容编辑等行业变革，实现全自动化内容生产。
原文摘要
Diffusion large language models (dLLMs) accelerate language generation by predicting multiple masks in a single forward pass. However, existing dLLMs can suffer from unreliable predictions in early denoising stages under aggressive parallelism strategies, leading to errors that can propagate to later stages. To tackle this issue, we present Consistency Forcing (CForce) for dLLMs, a distillation method to force the mask predictions of early stages to align with those of later stages. CForce trains the model on pre-collected self-rollout trajectories, thereby improving training-inference alignment. We introduce Confidence Adaptive KL Divergence as a distillation objective to conjoin the merits of forward and reverse KL. We further provide a theoretical analysis for the consistency objective to explain why CForce can approximately minimize the prediction error of early stages. Critically, the same formulation applies to both mask-to-token decoding and edit-capable decoding; in the edit-capable case, later token-to-token refinements provide additional supervision for earlier masked-state predictions. Experiments on non-edit and edit-capable LLaDA models show improved speed-quality trade-offs, especially under high-parallelism decoding budgets. Code is available at: https://github.com/inclusionAI/dFactory.