核心发现
方法论
研究采用混合注意力机制，结合注意力层和RNN层，RNN层保持因果性，注意力层双向化。通过这种架构，dQwen3.5在0.8B到9B规模上进行适配，显著提高了训练效率。
关键结果
- dQwen3.5在相同训练损失下比全注意力模型使用的token数减少了一半，特别是在HumanEval测试中表现优异。
- 在不同规模下，dQwen3.5的局部AR-ness约为0.64，全球AR-ness约为0.88-0.97。
- 在50B token的训练后，dQwen3.5-2B在6/7基准测试中超过CoDA。
研究意义
该研究展示了混合注意力架构在扩散语言模型中的潜力，尤其是在训练效率和解码灵活性方面。它为未来的语言模型研究提供了一种新的视角，特别是在资源有限的情况下。
技术贡献
技术贡献包括提出了一种结合RNN和注意力层的混合架构，提供了一种高效的AR到DLM适配方法，并展示了在不同规模下的适配性能。
新颖性
首次在混合架构中成功实现了高效的AR到DLM适配，尤其是在RNN层保持因果性的情况下，突破了传统全注意力模型的局限。
局限性
- 混合架构在数学任务上的表现仍有不足，可能由于训练数据的偏向性。
- 适配时间过长可能导致性能下降，特别是在大规模模型上。
未来方向
未来研究可以探索如何优化混合架构在数学任务上的表现，以及在不同数据集上的适配效果。
AI 总览摘要
dQwen3.5通过混合注意力机制解决了传统全注意力模型在训练效率上的不足。该方法结合了注意力层和RNN层，注意力层被双向化，而RNN层保持因果性。这种架构在0.8B到9B规模上进行了适配，显著提高了训练效率，特别是在HumanEval测试中表现优异。
实验结果显示，dQwen3.5在相同训练损失下比全注意力模型使用的token数减少了一半。尽管RNN层的因果性可能限制了解码顺序的灵活性，但dQwen3.5仍然展示了强大的并行解码能力。
然而，混合架构在数学任务上的表现仍有不足，可能由于训练数据的偏向性。未来研究可以探索如何优化混合架构在数学任务上的表现，以及在不同数据集上的适配效果。
深度分析
研究背景
近年来，扩散语言模型（DLM）因其在并行和任意顺序生成上的优势而受到关注。传统的DLM通常从全注意力变换器开始，但这种方法训练成本高昂。混合架构结合了注意力和RNN层，提供了一种新的视角。
核心问题
适配预训练的自回归模型到扩散语言模型是一个具有挑战性的问题，特别是当涉及到混合架构时。RNN层的因果性使得双向化变得困难。
核心创新
dQwen3.5通过双向化注意力层而保持RNN层的因果性，成功实现了高效的AR到DLM适配。这种方法在不同规模上进行了验证，展示了其在训练效率上的显著提升。
方法详解
- �� 使用混合架构，结合注意力和RNN层
- �� 注意力层双向化，RNN层保持因果性
- �� 在0.8B到9B规模上进行适配
- �� 使用固定的训练数据混合比例进行训练
实验设计
实验在HumanEval、MMLU等多个基准测试上进行，使用不同规模的dQwen3.5模型进行比较。评估了模型的训练效率和解码能力。
结果分析
dQwen3.5在相同训练损失下比全注意力模型使用的token数减少了一半。其局部AR-ness约为0.64，全球AR-ness约为0.88-0.97。
应用场景
dQwen3.5适用于需要高效训练和解码的自然语言处理任务，特别是在资源有限的环境中。
局限与展望
混合架构在数学任务上的表现仍有不足，适配时间过长可能导致性能下降。未来研究可以探索如何优化这些方面。
通俗解读 非专业人士也能看懂
想象一个工厂，传统的全注意力模型就像一个需要从头到尾按顺序生产的流水线，而dQwen3.5则像一个可以同时在多个工位上进行生产的灵活车间。虽然某些工位（RNN层）仍然需要按顺序操作，但其他工位（注意力层）可以自由地在不同位置进行操作。这种灵活性使得dQwen3.5在生产效率上大大提高，尤其是在需要快速响应的情况下。
简单解释 像给14岁少年讲一样
想象你在玩一个大型多人在线游戏，传统的全注意力模型就像一个需要按顺序完成任务的游戏，而dQwen3.5就像一个可以同时进行多个任务的开放世界游戏。虽然某些任务（RNN层）仍然需要按顺序完成，但其他任务（注意力层）可以自由地在不同位置进行。这种灵活性让你在游戏中能更快地升级和完成任务！
术语表
混合注意力 (Hybrid Attention)
结合了注意力层和RNN层的架构，注意力层可以双向化，而RNN层保持因果性。
在dQwen3.5中用于提高训练效率和解码能力。
扩散语言模型 (Diffusion Language Model)
通过迭代解码（去掩码）生成文本，而不是严格从左到右生成。
dQwen3.5通过这种模型实现了高效的训练和解码。
自回归模型 (Autoregressive Model)
一种生成模型，依赖于前一个时间步的输出。
dQwen3.5通过适配自回归模型实现了扩散语言模型的高效训练。
局部AR-ness (Local AR-ness)
衡量相邻位置之间的左到右顺序程度。
用于评估dQwen3.5的解码灵活性。
全球AR-ness (Global AR-ness)
衡量所有位置对之间的左到右顺序程度。
用于评估dQwen3.5的解码灵活性。
开放问题 这项研究留下的未解疑问
- 1 如何优化混合架构在数学任务上的表现？目前的训练数据偏向可能导致性能不足。
- 2 在不同数据集上的适配效果如何？需要进一步的实验验证。
应用场景
近期应用
自然语言处理
dQwen3.5适用于需要高效训练和解码的自然语言处理任务，特别是在资源有限的环境中。
远期愿景
智能助手
通过提高解码效率和灵活性，dQwen3.5可以应用于智能助手中，实现更自然的人机交互。
原文摘要
Adapting a pretrained autoregressive (AR) model is a cost-efficient route to a diffusion language model (DLM). While nearly all such adaptations start from a full-attention transformer, AR modeling has shifted toward hybrid architectures that interleave attention and RNN layers. This creates an obstacle for adaptation: unlike attention, RNNs are structurally causal and nontrivial to bidirectionalize. Despite this mismatch, we investigate whether such backbones can become effective DLMs by adapting Qwen3.5 at 0.8B, 2B, 4B, and 9B scales, yielding the dQwen3.5 family. We find that hybrid backbones can be efficient starting points for adaptation: against a full-attention control, the hybrid reaches a given training loss in about half the tokens. Across scales, dQwen3.5 resembles full-attention DLMs in any-order decoding behavior and performs strongly under parallel decoding.