核心发现
方法论
该研究结合扩散语言模型与Mamba线性时间混合器，提出限制逆向Mamba扫描仅在活跃去噪块内进行，实现缓存的精确复用。训练采用全块目标，确保训练时构建的缓存与推理一致。模型在87M参数规模下通过C4验证困惑度达61.6，优于全序列基线，且在350M参数下仍具竞争力。长上下文推理中，BDLM Mamba-H在65K和262K长度下的吞吐量分别比全序列DiffuMamba-H高19.7倍和3.7倍。
关键结果
- 在87M参数模型中，BDLM Mamba-H在C4-en验证困惑度优于BDLM注意力和全序列基线，分别为61.6对比76.5和83.7。350M模型中，性能保持接近，困惑度为38.2，MCQA准确率达43.3%。在长文本推理中，吞吐量显著提升，65K长度下比全序列DiffuMamba-H快19.7倍，262K长度比BDLM注意力快3.7倍。
- 训练过程中，采用全块目标和缓存对齐策略，确保训练与推理缓存一致性。模型在多尺度参数下表现出良好的泛化能力和长文本生成效率，验证了混合架构的有效性。
- 实验还显示，限制逆向扫描在活跃块内，避免了逆向状态的非前缀依赖问题，从而实现了缓存的可复用性和高效推理。该方法在长上下文任务中具有明显优势。
研究意义
本研究突破了长文本生成中的内存带宽瓶颈，通过引入部分双向混合机制，有效结合了高效线性混合器与扩散模型的优势，为大规模长上下文语言模型的实用化提供了新思路。其在推理吞吐量和模型质量之间取得平衡，推动了长文本生成技术的应用落地，特别适用于需要超长上下文理解的场景，如长文档摘要、对话系统等。
技术贡献
提出限制逆向Mamba扫描仅在活跃块内的混合架构，确保缓存的精确复用。设计了全块目标训练策略，兼容推理中的缓存机制。通过参数迁移和学习率传递实现模型规模扩展，验证了模型在不同参数规模下的性能表现。引入时间步调制的因子分解，增强模型的灵活性和可控性。这些技术创新显著提升了长上下文推理的吞吐率，同时保持模型的预测质量。
新颖性
首次在扩散语言模型中引入部分双向Mamba混合架构，限制逆向扫描范围以实现缓存复用。结合全块目标训练策略，有效解决了逆向状态非前缀依赖的问题，推动了长文本生成的高效性和可扩展性。这一方法区别于传统全序列扩散模型和纯注意力架构，为长上下文生成提供了新的技术路径。
局限性
- 模型在训练时仍存在一定的计算成本，尤其是在大规模参数下，训练速度较全序列模型慢约30%。
- 逆向扫描范围限制可能在某些极端长文本场景中影响模型的全局一致性和上下文理解能力。
- 目前只在特定硬件（如A100 GPU）上验证，迁移到其他硬件环境可能需要调优。
未来方向
未来将探索更高效的逆向扫描策略，进一步降低训练和推理成本。计划引入动态块大小调节机制，以适应不同任务需求。还将结合更复杂的时间步调制技术，增强模型的可控性和泛化能力。此外，期待将该架构应用于多模态任务和多任务学习，拓展其应用范围。
AI 总览摘要
随着大规模语言模型在长文本处理中的应用需求不断增长，如何高效利用有限的计算资源实现超长上下文的高质量生成，成为当前研究的核心难题。传统的自回归模型在长文本生成中面临显存和带宽瓶颈，导致推理速度下降。为此，研究者们提出了多种方案，包括高效注意力变体和线性时间混合器，但在结合两者时仍存在技术难题。本文提出了一种创新的混合架构——部分双向的BDLM Mamba-注意力模型，通过限制逆向Mamba扫描范围，仅在活跃去噪块内进行，有效实现缓存的精确复用，从而大幅提升长文本推理的吞吐量。训练采用全块目标，确保训练时构建的缓存与推理一致，模型在87M参数规模下的验证困惑度达61.6，优于全序列基线。扩展到350M参数后，性能仍保持竞争力。在长上下文推理中，模型在65K和262K长度下的吞吐量分别比全序列DiffuMamba-H快19.7倍和3.7倍，验证了混合架构在实际应用中的潜力。这一技术突破不仅提升了长文本生成的效率，也为未来多模态、多任务的长上下文模型发展提供了重要方向。尽管如此，模型在训练成本和极端长文本场景中仍存在一定局限，未来工作将聚焦于优化逆向扫描策略和多模态扩展，推动长文本生成技术的持续演进。
深度解读
原文摘要
High-throughput long-context generation is one of the central challenges for large language models. Generation is typically memory-bandwidth-bound rather than compute-bound: each decoding step must stream the accumulated key/value (KV) cache from memory, so bandwidth demand grows with context length while only one token is emitted. Two parallel approaches have therefore emerged: reducing memory access with efficient attention variants and linear-time mixers such as Mamba, or increasing parallel computation by generating blocks of tokens at once. However, technical challenges arise when combining these two ideas. Earlier hybrid diffusion models such as DiffuMamba use bidirectional Mamba mixing, including a reverse-direction scan relative to causal generation. This reverse scan needs to scan the entire sequence, so its states are not prefix-only and cannot be precisely reused as a cache even when diffusion is performed block by block. We propose a BDLM Mamba--attention hybrid that addresses this challenge by restricting the reverse Mamba scan to the active denoising block, which enables exact caching across blocks. In an 87M-parameter DCLM sweep, BDLM Mamba-H achieves the best C4-en validation perplexity compared to BDLM attention and full-sequence baselines. At 350M parameters, it remains competitive with BDLM attention. For long-context inference, BDLM Mamba-H reaches 19.7x the throughput of full-sequence DiffuMamba-H at 65K tokens and 3.7x the throughput of BDLM attention at 262K, showing that Mamba hybrids are a potential long-context diffusion architecture.