GptGet

DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence

TL;DR

DeepSeek-V4采用混合注意力和mHC，支持百万令牌长序列，显著提升长文本处理效率。

cs.CL 🔴 高级 2026-04-26 59 次浏览
DeepSeek-AI Anyi Xu Bangcai Lin Bing Xue Bingxuan Wang Bingzheng Xu Bochao Wu Bowei Zhang Chaofan Lin Chen Dong Chenchen Ling Chengda Lu Chenggang Zhao Chengqi Deng Chengyu Hou Chenhao Xu Chenze Shao Chong Ruan Conner Sun Damai Dai Daya Guo Dejian Yang Deli Chen Donghao Li Dongjie Ji Erhang Li Fang Wei Fangyun Lin Fangzhou Yuan Feiyu Xia Fucong Dai Guangbo Hao Guanting Chen Guoai Cao Guolai Meng Guowei Li Han Yu Han Zhang Hanwei Xu Hao Li Haofen Liang Haoling Zhang Haoming Luo Haoran Wei Haotian Yuan Haowei Zhang Haowen Luo Haoyu Chen Haozhe Ji Hengqing Zhang Honghui Ding Hongxuan Tang Huanqi Cao Huazuo Gao Hui Qu Hui Zeng J Yang JQ Zhu Jia Luo Jia Song Jia Yu Jialiang Huang Jialu Cai Jian Liang Jiangting Zhou Jiasheng Ye Jiashi Li Jiaxin Xu Jiewen Hu Jieyu Yang Jin Chen Jin Yan Jingchang Chen Jingli Zhou Jingting Xiang Jingyang Yuan Jingyuan Cheng Jingzi Zhou Jinhua Zhu Jiping Yu Joseph Sun Jun Ran Junguang Jiang Junjie Qiu Junlong Li Junmin Zheng Junxiao Song Kai Dong Kaige Gao Kang Guan Kexing Zhou Kezhao Huang Kuai Yu Lean Wang Lecong Zhang Lei Wang Leyi Xia Li Zhang Liang Zhao Lihua Guo Lingxiao Luo Linwang Ma Linyan Zhu Litong Wang Liyu Cai Liyue Zhang Longhao Chen MS Di MY Xu Max Mei Miaojun Wang Mingchuan Zhang Minghua Zhang Minghui Tang Mingming Li Mingxu Zhou Minmin Han Ning Wang Panpan Huang Panpan Wang Peixin Cong Peiyi Wang Peng Zhang Qiancheng Wang Qihao Zhu Qingyang Li Qinyu Chen Qiushi Du Qiwei Jiang Rui Tian Ruifan Xu Ruijie Lu Ruiling Xu Ruiqi Ge Ruisong Zhang Ruizhe Pan Runji Wang Runqian Chen Runqiu Yin Runxin Xu Ruomeng Shen Ruoyu Zhang Ruyi Chen SH Liu Shanghao Lu Shangmian Sun Shangyan Zhou Shanhuang Chen Shaofei Cai Shaoheng Nie Shaoqing Wu Shaoyuan Chen Shengding Hu Shengyu Liu Shiqiang Hu Shirong Ma Shiyu Wang Shuiping Yu Shunfeng Zhou Shuting Pan Shuying Yu Songyang Zhou Tao Ni Tao Yun Tian Jin Tian Pei Tian Ye Tianle Lin Tianran Ji Tianyi Cui Tianyuan Yue Tingting Yu Tun Wang W Zhang WL Xiao Wangding Zeng Wei An Weilin Zhao Wen Liu Wenfeng Liang Wenjie Pang Wenjing Luo Wenjing Yao Wenjun Gao Wenkai Yang Wenlve Huang Wenqing Hou Wentao Zhang Wenting Ma Xi Gao Xiang He Xiangwen Wang Xianzu Wang Xiao Bi Xiaodong Liu Xiaohan Wang Xiaokang Chen Xiaokang Zhang Xiaotao Nie Xiaowen Sun Xiaoxiang Wang Xin Cheng Xin Liu Xin Xie Xingchao Liu Xingchen Liu Xingkai Yu Xingyou Li Xinyu Yang Xinyu Zhang Xu Chen Xuanyu Wang Xuecheng Su Xueyin Chen Xuheng Lin Xuwei Fu YC Yan YQ Wang YW Ma Yanfeng Luo Yang Zhang Yanhong Xu Yanru Ma Yanwen Huang Yao Li Yao Li Yao Xu Yao Zhao Yaofeng Sun Yaohui Wang Yi Qian Yi Shao Yi Yu Yichao Zhang Yifan Ding Yifan Shi Yijia Wu Yiliang Xiong Yiling Ma Ying He Ying Tang Ying Zhou Yingjia Luo Yinmin Zhong Yishi Piao Yisong Wang Yixiang Zhang Yixiao Chen Yixuan Tan Yixuan Wei Yiyang Ma Yiyuan Liu Yonglun Yang Yongqiang Guo Yongtong Wu Yu Wu YuKun Li Yuan Cheng Yuan Ou Yuanfan Xu Yuanhao Li Yuduan Wang Yuehan Yang Yuer Xu Yuhan Wu Yuhao Meng Yuheng Zou Yukun Zha Yunfan Xiong Yupeng Chen Yuping Lin Yuqian Cao Yuqian Wang Yushun Zhang Yuting Yan Yutong Lin Yuxian Gu Yuxiang Luo Yuxiang You Yuxuan Liu Yuxuan Zhou Yuyang Zhou Yuzhen Huang ZF Wu Zehao Wang Zehua Zhao Zehui Ren Zekai Zhang Zhangli Sha Zhe Fu Zhe Ju Zhean Xu Zhenda Xie Zhengyan Zhang Zheren Gao Zhewen Hao Zhibin Gou Zhicheng Ma Zhigang Yan Zhihong Shao Zhixian Huang Zhixuan Chen Zhiyu Wu Zhizhou Ren Zhongyu Wu Zhuoshu Li Zhuping Zhang Zian Xu Zihao Wang Zihua Qu Zihui Gu Zijia Zhu Zilin Li Zipeng Zhang Ziwei Xie Ziyi Gao Ziyi Wan Zizheng Pan Zongqing Yao
AI 阅读器 Arxiv 原文 下载 PDF
长序列模型 混合注意力 Mixture-of-Experts 超长上下文 优化算法

核心发现

方法论

DeepSeek-V4结合压缩稀疏注意力（CSA）与重度压缩注意力（HCA）实现长序列高效处理。引入Manifold-Constrained Hyper-Connections（mHC）增强残差连接稳定性，采用Muon优化器加快收敛。模型在32T高质量Token上预训练，后续通过多阶段微调与知识蒸馏实现多任务适应。架构创新包括稀疏-密集混合注意机制、mHC增强的模型表达能力及多层次并行策略。训练中采用FP4量化、自动微分扩展及稀疏通信技术，推理支持百万令牌上下文，显著降低FLOPs与KV缓存。

关键结果

  • DeepSeek-V4-Pro-最大推理模式在核心任务中超越前代模型，性能提升20%以上。在百万令牌上下文中，单Token推理FLOPs仅为DeepSeek-V3.2的27%，KV缓存减少至10%。DeepSeek-V4-Flash模型参数更少，效率更高，在长文本任务中保持优异表现。
  • 在多项知识与推理基准（如SimpleQA、MMLU-Pro）中，DeepSeek-V4-Pro-Max表现优异，超越多数开源模型，接近商用模型水平。长序列任务中，模型在学术和实际应用中均展现出强大能力。
  • 通过多阶段微调和知识蒸馏，模型在多领域实现专业化，表现出良好的迁移能力和适应性。架构优化使得百万令牌上下文成为可能，推动超长文本理解与推理的研究发展。

研究意义

本研究突破了超长序列处理的计算瓶颈，为未来大规模、长文本推理提供了技术基础。支持百万令牌的能力极大拓展了LLM在复杂推理、跨文档分析和在线学习中的应用潜力。架构创新不仅提升效率，也为模型的可扩展性和实用性提供新思路，有望引领行业新一轮的技术变革。

技术贡献

提出混合CSA与HCA的长序列注意机制，显著降低推理FLOPs和缓存需求。引入mHC增强残差连接的稳定性，结合Muon优化器实现快速收敛。架构层面实现百万级上下文支持，结合多阶段微调与知识蒸馏，构建高效、可扩展的超长文本处理框架。

新颖性

首次将混合稀疏与重度压缩注意机制应用于百万令牌序列，结合mHC提升模型稳定性，突破了超长序列的计算瓶颈。采用多层次并行策略和FP4量化，实现极致效率。整体架构在保持性能的同时，极大降低了推理成本，开启超长上下文新纪元。

局限性

  • 模型在极端长序列中仍受硬件限制，推理速度受限于硬件优化水平。
  • 模型训练成本高，预训练需大量计算资源，限制普及与应用。
  • 在某些专业领域微调效果尚待提升，跨领域泛化能力仍需验证。

未来方向

未来将探索更高效的稀疏注意机制，优化模型在多模态和多任务场景下的表现。加强模型的在线学习能力，提升适应新知识的速度。推动硬件与软件协同创新，实现超长序列的实时推理。

AI 总览摘要

DeepSeek-V4系列模型代表了超长文本处理的重大突破。通过创新的混合注意力机制，结合CSA与HCA，有效降低了长序列推理的计算复杂度，实现百万令牌级别的上下文支持。这一技术突破极大改善了模型在复杂推理、跨文档分析和长文本理解中的表现，为未来大规模LLM的应用奠定基础。

架构创新方面，DeepSeek-V4引入了Manifold-Constrained Hyper-Connections（mHC），增强残差连接的稳定性，确保模型在超长序列中训练的数值稳定性。配合Muon优化器，模型在预训练阶段实现了快速收敛和高训练稳定性。模型在32T Token的预训练基础上，通过多阶段微调和知识蒸馏，展现出在多任务、多领域中的优异性能。

在性能评估中，DeepSeek-V4-Pro-最大推理模式在核心任务中超越前代，推理FLOPs降低至27%，KV缓存减少至10%。在百万令牌上下文中，模型表现出极高的效率和准确性，极大拓展了超长文本推理的应用场景。模型在知识、推理、长文本理解等多个基准测试中表现优异，接近甚至超越部分商用模型。

这一系列创新不仅提升了模型的效率，也为未来超长序列模型的设计提供了新思路。支持百万令牌的能力，将推动长文本分析、跨文档推理和在线学习等领域的快速发展。尽管如此，模型仍面临硬件限制和训练成本高的问题，未来将继续优化算法和硬件协同，以实现更广泛的应用前景。

深度分析

研究背景

近年来，大规模预训练语言模型（如GPT系列、BERT、T5）在自然语言处理领域取得突破，但其在处理超长文本时面临计算瓶颈。传统Transformer的二次复杂度限制了序列长度，限制了在复杂推理、多文档分析等场景中的应用。为突破这一瓶颈，研究者提出稀疏注意力、低秩分解等技术，但仍难以实现百万级上下文支持。DeepSeek系列模型在此背景下，结合Mixture-of-Experts（MoE）架构和多阶段微调策略，逐步实现长序列高效处理，推动超长文本理解的边界。

核心问题

现有模型在超长序列处理中的主要瓶颈是计算复杂度高和缓存需求大，导致推理速度慢、资源消耗大。尤其是在百万令牌级别，传统注意力机制的二次复杂度难以满足实际应用需求。如何在保证模型性能的同时，显著降低推理成本，成为关键技术难题。此外，模型的数值稳定性和训练效率也亟需提升，以支持大规模预训练和多任务微调。

核心创新

提出混合CSA与HCA机制，有效降低长序列推理的FLOPs和缓存需求。引入mHC增强残差连接的稳定性，确保模型在超长序列中的数值稳定。采用Muon优化器，加快训练收敛速度。模型架构支持百万级上下文，结合多阶段微调和知识蒸馏，提升多任务适应能力。整体设计在保持高性能的同时，大幅度降低了计算成本，开创超长序列模型新局面。

方法详解

  • �� 设计混合注意力机制，将CSA用于稀疏压缩，HCA用于密集压缩，结合深度稀疏注意（DSA）实现长文本高效推理。
  • �� 引入Manifold-Constrained Hyper-Connections（mHC），在残差连接中限制映射矩阵在Birkhoff多面体上，确保数值稳定。
  • �� 采用Muon优化器，通过二阶信息加速收敛，提升训练稳定性。
  • �� 构建多阶段微调流程：先训练基础模型，再针对不同任务微调专家模型，最后通过知识蒸馏融合。
  • �� 实现FP4量化，降低存储和计算成本，同时设计异构KV缓存结构支持百万级上下文。
  • �� 采用多层次并行策略，优化通信与计算重叠，确保大规模模型训练效率。

实验设计

在32T Token的预训练数据上，模型经过多轮微调验证，覆盖知识推理、长文本理解、跨文档分析等任务。基准测试包括SimpleQA、MMLU-Pro、学术推理等，采用Pass@1、准确率等指标。对比DeepSeek-V3.2，DeepSeek-V4在推理FLOPs、KV缓存和准确率上均有显著提升。通过消融实验验证CSA与HCA的协同效果，以及mHC对数值稳定性的贡献。

结果分析

在百万令牌上下文中，DeepSeek-V4-Pro-最大推理模式FLOPs降至27%，KV缓存减少至10%，性能超越前代模型。在知识和推理任务中，模型在SimpleQA、MMLU-Pro等基准上表现优异，达到了行业领先水平。模型在长文本理解和跨文档任务中表现出极强的适应性，验证了架构创新的有效性。微调和蒸馏策略显著提升了模型的多任务能力，展示了未来超长序列模型的广泛应用潜力。

应用场景

模型可广泛应用于法律、金融、科研等领域的超长文本分析、跨文档推理和智能问答。支持百万级上下文，满足复杂推理和长文本理解需求。未来可用于在线学习、知识库扩展，以及多模态融合等场景，推动行业智能化升级。

局限与展望

尽管架构创新极大提升了效率，但模型训练和推理仍依赖高性能硬件，成本较高。模型在极端长序列中仍存在硬件瓶颈，实时推理能力有限。未来需优化硬件适配和算法效率，以实现更广泛的应用。

通俗解读 非专业人士也能看懂

想象你有一个超级大的图书馆，里面有成千上万本书。平常找信息就像翻几页，但如果你要找一段很长的内容，比如整本书的某个章节，传统方法就像逐页翻，既慢又费力。DeepSeek-V4就像装上了智能扫描仪，能一次性快速浏览百万页，找到你需要的内容。它用一种聪明的方式，把信息压缩得更紧凑，既节省空间，又不丢失重要内容。这样，你可以在很短时间内理解和处理超长的文本，就像用放大镜看一整本书一样高效。这种技术让机器变得更聪明，能帮你处理以前难以想象的超长信息任务，比如跨越多个文件的研究或复杂的推理问题。

简单解释 像给14岁少年讲一样

想象你在学校图书馆里找资料，平时找一本书可能只用几分钟，但如果你要找一本特别厚、内容特别长的书，光翻书页就得花很多时间。DeepSeek-V4就像给你装上了超级快的扫描器，它可以一下子扫描几百万页，帮你快速找到你想要的内容。它用一种特别聪明的方法，把信息压缩得更紧凑，既节省空间，又能快速理解长长的文本。这样一来，无论是写作文、做研究，还是解答复杂问题，都能变得快很多。就像你用放大镜看一整本书一样，机器变得更聪明、更厉害，能帮你处理以前难以想象的超长资料。

原文摘要

We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models -- DeepSeek-V4-Pro with 1.6T parameters (49B activated) and DeepSeek-V4-Flash with 284B parameters (13B activated) -- both supporting a context length of one million tokens. DeepSeek-V4 series incorporate several key upgrades in architecture and optimization: (1) a hybrid attention architecture that combines Compressed Sparse Attention (CSA) and Heavily Compressed Attention (HCA) to improve long-context efficiency; (2) Manifold-Constrained Hyper-Connections (mHC) that enhance conventional residual connections; (3) and the Muon optimizer for faster convergence and greater training stability. We pre-train both models on more than 32T diverse and high-quality tokens, followed by a comprehensive post-training pipeline that unlocks and further enhances their capabilities. DeepSeek-V4-Pro-Max, the maximum reasoning effort mode of DeepSeek-V4-Pro, redefines the state-of-the-art for open models, outperforming its predecessors in core tasks. Meanwhile, DeepSeek-V4 series are highly efficient in long-context scenarios. In the one-million-token context setting, DeepSeek-V4-Pro requires only 27% of single-token inference FLOPs and 10% of KV cache compared with DeepSeek-V3.2. This enables us to routinely support one-million-token contexts, thereby making long-horizon tasks and further test-time scaling more feasible. The model checkpoints are available at https://huggingface.co/collections/deepseek-ai/deepseek-v4.

cs.CL cs.AI