核心发现
方法论
本文提出的ASD是一种无需训练的验证器，通过引入局部目标对数遗憾门控、块级异常上限和请求级遗憾预算，替代传统的二元首次不匹配截断策略。ASD在每个解码块中，测量目标对数遗憾，接受满足预算和门控条件的最长连续目标贪婪前缀，随后复用已确认的目标贪婪后缀，无需额外的近似决策或目标模型前向传播。该方法保持了标准贪婪验证的行为，在预算为零时退化为传统方法。实验在Qwen3-14B+DSpark-14B任务中，平均提升吞吐量7.78%，在深度搜索-4-闪存（284B）模型中，验证端接受率提升10%-16%。
关键结果
- ASD在七个Qwen3-14B+DSpark-14B任务中，平均吞吐量提升7.78%，最高达15.26%，显著优于严格验证。实验显示，ASD在不增加训练或额外模型前向的情况下，有效提升系统性能。
- 在深度搜索V4-Flash（284B）模型中，ASD提升验证端接受率10%-16%，在GSM8K和MATH-500任务中表现出良好的任务保持性，说明其在不同任务和模型架构下具有良好的泛化能力。
- 通过调节预算和门控参数，验证了ASD在不同工作负载和模型配置中的灵活性，展现出在保持任务准确率的同时显著提升解码效率的潜力。
研究意义
该研究突破了传统贪婪验证的二元限制，通过引入预算机制，实现了在保证解码质量的同时的显著加速，为大规模自回归模型的实际应用提供了新思路。ASD的无训练特性降低了部署门槛，极大地推动了模型推理的效率提升，有望在自动文本生成、问答系统等多个场景中广泛应用，解决模型推理中的瓶颈问题。
技术贡献
本文提出的ASD创新性地将验证策略转化为预算最长前缀选择问题，结合局部目标-logit遗憾门控和请求级遗憾预算，实现了无训练的高效验证。其核心在于利用已接受异常后，复用目标贪婪后缀，减少了额外的近似决策和模型前向计算，显著提升了推理吞吐量。该方法在理论上界定了累积遗憾的上限，为未来验证策略的设计提供了新的理论框架。
新颖性
本研究首次提出基于预算最长前缀选择的无训练验证机制，区别于现有的语义或不确定性基础的放宽验证方法。通过引入请求级遗憾账本，系统性地控制了偏差累积，确保了在不同模型和任务中的通用性和鲁棒性，填补了无训练验证策略的研究空白。
局限性
- ASD虽然在吞吐量上表现优异，但其不能保证输出的语义等价性或任务绝对正确性，存在一定的偏差风险，特别在高遗憾预算下可能引入错误。
- 该方法依赖于目标对数遗憾门控参数的合理设置，参数调优可能影响性能和稳定性，且在极端任务或模型架构中效果尚未充分验证。
- ASD在极大模型或超大模型中可能面临计算和存储开销的增加，未来需优化其实现效率以适应更大规模场景。
未来方向
未来可探索自适应调节遗憾预算和门控参数的方法，以实现动态平衡速度与精度。此外，结合学习型验证器或多模态信息，进一步提升验证的鲁棒性和准确性。还可将ASD扩展到多任务、多模态生成场景中，推动模型推理的普适性和效率提升。
AI 总览摘要
随着大规模自回归语言模型的广泛应用，解码速度成为制约实际部署的关键瓶颈。传统的贪婪验证策略虽然简单高效，但在牺牲部分输出质量的基础上，难以充分利用已验证的连续目标贪婪后缀。为解决这一问题，本文提出了近似投机解码（ASD）机制，利用预算最长前缀选择策略，有效平衡解码速度与输出质量，无需额外训练或模型前向。ASD通过引入局部目标-logit遗憾门控、块级异常上限和请求级遗憾预算，控制偏差累积，允许在保证整体任务性能的前提下，提前复用已验证的目标贪婪后缀，从而显著提升系统吞吐量。实验结果显示，在七个不同任务上，ASD平均提升吞吐量7.78%，最高达15.26%，在深度搜索-4-闪存模型中，验证端接受率提升10%-16%。这一方法的核心创新在于将验证策略转化为预算最长前缀选择问题，结合遗憾账本机制，系统性地限制偏差累积，为未来高效推理提供了新思路。尽管存在潜在的偏差风险，ASD的无训练特性和良好的泛化能力，使其在实际应用中具有广泛的推广价值。未来，结合自适应参数调节和多模态验证，有望推动大模型在自动文本生成、问答等场景中的快速、可靠部署。
深度分析
研究背景
近年来，自回归大规模语言模型（如GPT系列、BERT变体）在自然语言处理任务中取得突破，但其逐词生成的特性导致推理速度成为瓶颈。早期的块式解码和投机解码（如Leviathan、Wang等提出的方案）尝试通过并行预测和验证提升速度，但仍受限于验证策略的效率和准确性。传统贪婪验证简单高效，但在偏差控制方面存在局限。近年来，研究者提出多种放宽验证条件的方法，如语义一致性、分歧约束和不确定性阈值（如Bachmann、Holsman等），旨在提升吞吐量同时保证输出质量。然而，这些方法多依赖训练或复杂的模型调整，限制了其推广性。本文在此背景下，提出一种训练无关的验证机制，结合预算最长前缀选择，旨在在保证输出质量的同时，显著提升推理速度。
核心问题
当前的贪婪验证策略在遇到偏差时会立即停止，导致潜在的已验证连续目标后缀无法复用，限制了推理效率的提升。此外，偏差的累积可能引入错误，影响任务性能。如何在保证输出质量的前提下，合理放宽验证策略，提升吞吐量，成为亟待解决的问题。现有方法多依赖训练或复杂的模型调优，难以在不同模型和任务间实现通用性。本文试图通过引入预算机制，控制偏差累积，实现无训练的高效验证策略。
核心创新
核心创新在于提出基于预算最长前缀选择的验证策略，将偏差控制转化为预算限制问题。引入局部目标-logit遗憾门控、块级异常上限和请求级遗憾预算，有效限制偏差累积，允许在满足预算条件下提前复用目标贪婪后缀。该方法无需训练，直接在标准验证基础上实现，简化了系统架构。其最大创新在于利用已接受异常后，系统性地复用连续目标后缀，显著提升推理吞吐量，同时保持任务性能。
方法详解
- �� 输入：待解码的draft块和目标贪婪序列；目标模型输出的logits。
- �� 计算每个位置的偏差指标（目标对数遗憾）和门控参数。
- �� 设定预算参数，包括遗憾总预算、块级异常上限和请求级偏差。
- �� 在每个块中，逐位置评估偏差，满足门控和预算条件的最长连续目标贪婪前缀。
- �� 允许接受偏差，复用已验证的目标贪婪后缀，无需额外模型前向。
- �� 更新偏差账本，确保偏差不超出预算。
- �� 输出：最长满足条件的前缀和对应的目标后缀，继续下一轮解码。
实验设计
采用Qwen3-14B+DSpark-14B在多任务（GSM8K、MATH-500、HumanEval等）上的评估，比较传统严格验证与ASD的吞吐量和接受率。调节预算和门控参数，分析不同配置对性能的影响。采用多次重复实验确保统计显著性，评估指标包括吞吐量（tokens/sec）、任务准确率和偏差度。还在不同模型架构（如EAGLE3、Medusa）上验证泛化能力，进行消融分析以确认各参数的重要性。
结果分析
ASD在七个任务中平均提升吞吐量7.78%，最高达15.26%，在GSM8K和MATH-500任务中表现尤为突出，接受率提升10%-16%。调节预算和门控参数，验证了偏差控制的有效性。实验还显示，ASD在不同模型和提案架构下均能实现性能提升，且对任务准确率影响有限，部分任务甚至略有提升。消融实验确认预算和门控参数对性能的调节作用，验证了方法的鲁棒性和适应性。
应用场景
该方法适用于大规模自动文本生成、问答系统、对话机器人等场景，尤其在对推理速度要求较高的应用中。无需额外训练或模型调整，便于在现有模型基础上快速部署。未来可结合多模态信息或自适应调节策略，进一步提升系统效率和鲁棒性，推动智能系统的实时交互能力。
局限与展望
ASD不能保证输出的语义等价性，偏差可能在某些任务中累积导致错误。参数设置敏感，需调优以适应不同模型和任务。高偏差预算可能引入错误风险，且在超大模型中计算开销增加，未来需优化算法效率和偏差控制策略。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭，厨师（模型）需要逐步准备一道菜（生成文本）。传统的方法就像每次只做一份菜，等到确认味道好才继续下一步，速度慢但保证质量。而投机解码像是提前准备好多份菜的不同部分，但如果发现味道不对，就只能扔掉一部分。这个研究提出一种聪明的厨房管理方式，允许厨师在一定范围内提前接受一些可能不完美的步骤，只要整体味道还能保证。这样，厨师可以提前用掉一些已经准备好的材料，节省时间，做菜更快。这就像给厨师设定一个预算，只允许接受一定的偏差，既保证了菜的质量，又大大缩短了做菜时间。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏，你要一步步拼出完整的图案。以前的方法就像每拼完一块都要确认无误才继续，太慢了。这次的办法就像你给自己设个规则：只要拼的块差不多对了，就可以先放一边，继续拼下一块。只要总的差错不超过一定的预算，你就可以快点完成拼图。这样，你就不用每次都反复检查，节省了很多时间，但拼出来的图可能会有点小瑕疵。这个新方法让你在保证大致效果的同时，拼图速度快了很多，特别适合需要快速完成的任务。虽然不能保证每一块都完美，但整体看起来还是很棒的！
原文摘要
Speculative decoding accelerates autoregressive generation by verifying a draft block with a target model in parallel. Under standard greedy verification, decoding stops at the first draft token that differs from the target argmax, discarding the remaining target-scored suffix. Although accepting such a mismatch changes the decoding trajectory, it can make a contiguous suffix reusable when its tokens remain target-greedy under the realized prefix. In this paper, we introduce \textbf{Approximate Speculative Decoding (ASD)}, a training-free verifier that replaces binary first-mismatch truncation with budgeted longest-prefix selection. ASD accepts selected mismatches subject to a local target-logit regret gate, a per-block exception cap, and a persistent request-level regret budget, then reuses the contiguous target-greedy suffix without additional approximate decisions or target-model forward passes. ASD requires neither a new draft model nor fine-tuning, and exactly reduces to standard greedy verification when the budget is zero. Experiments show that ASD improves fixed-workload throughput by $3.05\%$--$15.26\%$ over matched strict verification and averages a $7.78\%$ gain across seven Qwen3-14B + DSpark-14B tasks. On DeepSeek-V4-Flash (284B) with DSpark it also raises verifier-side acceptance by roughly $10\%$--$16\%$ on GSM8K and MATH-500 in an FP4-to-FP8 compatibility setting. The source code is publicly available at: https://github.com/Kissmetothemoon/ASD