核心发现
方法论
本文提出的Activation Beacon模块在Transformer基础上引入beacon token，通过逐步压缩每个细粒度输入单元的激活（键值对）实现长文本压缩。采用chunk划分策略，将长文本分割成小块，每块内插入beacon tokens，利用自注意力机制压缩信息，逐步积累激活以支持超长文本处理。模型通过压缩自回归训练优化，支持多种压缩比例，提升灵活性。实验中，模型在128K长度任务中表现优异，压缩比最高达8倍，推理速度提升2倍，KV缓存内存减少8倍。
关键结果
- 在LongBench长文本任务中，Activation Beacon在保持与未压缩模型相当性能的同时，实现了2倍推理加速和8倍KV缓存节省，超出现有压缩方法。具体表现为在文档理解、少样本学习等任务中，压缩比达8倍时仍能保持较高准确率，验证了其信息保留能力。
- 在多轮问答和 Needle-in-a-Haystack任务中，Activation Beacon能准确检索关键信息，性能优于AutoCompressor和LongLMLingua，尤其在超长文本（如128K）中表现出色，验证了其细粒度压缩和信息保留优势。
- 通过随机采样不同压缩比例训练，模型展现出极强的配置适应性，可根据任务需求灵活调整压缩比，兼顾效率与性能。
研究意义
该技术突破了长文本处理的效率瓶颈，显著降低了Transformer模型的计算和存储成本，为超长文本理解、内容生成等应用提供了可行方案。其创新的逐步压缩机制和激活重用策略，为未来大规模模型的长文本处理提供了理论基础和工程实践路径，有望推动AI在长文档分析、知识存储等领域的广泛应用。
技术贡献
核心贡献在于引入beacon token机制，实现逐步、细粒度的激活压缩，突破了软提示和全局压缩的局限。提出的chunk级压缩流程结合激活缓存，支持多压缩比例训练，增强模型的适应性。采用压缩自回归训练策略，确保信息完整性与生成质量。该方法在保持性能的同时，大幅降低推理延迟和KV缓存需求，为超长文本处理提供了新思路。
新颖性
首次在Transformer中引入逐步激活压缩机制，通过beacon tokens实现细粒度、多比例的长文本压缩。与传统软提示和全局压缩方法不同，Activation Beacon采用渐进式压缩和激活缓存，兼顾效率和信息完整性，填补了超长文本压缩的技术空白。
局限性
- 该方法依赖chunk划分策略，可能在极端长文本或高频变换场景下表现不稳定，且在极端压缩比例（如16倍以上）时可能出现信息丢失。
- 训练过程中随机采样压缩比例增加了训练复杂性，模型对不同任务的适应性仍需进一步验证。
- 在极端压缩比下，模型可能在某些细粒度信息上表现出一定的性能下降，未来需优化压缩策略以平衡效率与信息保留。
未来方向
未来可探索自适应压缩策略，根据任务内容动态调整压缩比例；结合稀疏注意力和量化技术进一步降低计算成本；扩展到多模态长文本处理，提升模型在多源信息融合中的表现。
AI 总览摘要
长文本处理一直是大规模语言模型（LLMs）面临的核心挑战之一。随着任务需求的增长，模型需要处理数万甚至十万级别的文本内容，但传统Transformer的自注意力机制在计算和存储方面面临严重瓶颈。为此，本文提出了Activation Beacon，一种创新的长文本压缩机制，旨在在保证信息完整性的同时，大幅提升处理效率。该方法引入beacon token，通过逐步压缩每个细粒度输入单元的激活（键值对），实现超长文本的高效编码。模型在训练中采用压缩自回归策略，支持多种压缩比例，极大增强了灵活性。实验证明，在128K长度任务中，Activation Beacon不仅保持了与未压缩模型相当的性能，还实现了2倍推理加速和8倍KV缓存节省，优于现有的压缩方案。其核心创新在于逐步压缩和激活缓存机制，有效解决了软提示在复杂信息表达中的瓶颈。未来，该技术有望推动超长文本理解、内容生成等领域的广泛应用，开启大模型长文本处理的新篇章。
深度分析
研究背景
近年来，随着Transformer架构的普及，长文本处理成为研究热点。早期方法如旋转位置编码（RoPE）和稀疏注意力（Sparse Attention）在一定程度上缓解了长文本的计算压力，但仍存在效率瓶颈。软提示（Soft Prompt）和KV压缩（KV Compression）等技术尝试通过简化表示或压缩激活来降低成本，但在信息表达和灵活性方面不足。随着模型规模的扩大，处理超长文本的需求不断增长，如何在保证性能的同时提升效率，成为关键难题。现有方法多依赖全局压缩或硬性剪枝，难以兼顾细粒度信息保留与多样化应用场景，亟需创新机制突破。
核心问题
长文本压缩的核心难点在于如何在极大缩减信息的同时，保持关键信息的完整性。现有软提示和全局压缩方法，因缺乏细粒度控制，难以应对复杂任务，尤其在超长文本（如128K）中表现不佳。此外，软提示的重编码和硬性剪枝带来效率瓶颈，限制了模型的实际应用。如何设计一种既能高效压缩，又能灵活支持多比例、多场景的机制，是当前亟待解决的问题。
核心创新
本研究的创新点主要在于引入激活Beacon机制，利用beacon tokens实现逐步、细粒度的激活压缩。具体包括：1）在每个层级引入beacon tokens，通过插入和缓存激活信息，逐步压缩长文本；2）采用chunk划分策略，将长文本分割成小块，逐块编码，支持超出模型原有窗口的长文本处理；3）训练中随机采样压缩比例，增强模型适应不同场景的能力；4）在自注意力中重用激活，避免重复编码，提高效率。这些创新突破了软提示和全局压缩的局限，提供了更灵活、更高效的长文本处理方案。
方法详解
- �� 将长文本划分为等长块，插入beacon tokens，形成压缩输入；
- �� 每个块内，利用自注意力机制，将原始激活逐步压缩到beacon tokens中；
- �� 逐块编码，激活缓存逐步积累，支持超长文本处理；
- �� 训练中，随机采样不同压缩比例，优化模型的多样性适应能力；
- �� 在推理中，利用缓存激活，避免重复编码，提升效率；
- �� 采用压缩自回归训练，确保生成质量与信息完整性；
- �� 通过激活重用机制，实现模型在不同压缩比例下的灵活应用。
实验设计
采用LongBench和 Needle-in-a-Haystack等长文本任务，验证模型在128K超长文本中的性能。对比基线包括全注意力模型和其他压缩方法如AutoCompressor和LongLMLingua。指标涵盖准确率、推理速度和KV缓存节省。模型在不同压缩比（最高8倍）下，保持与未压缩模型相当的性能，推理速度提升2倍，KV缓存节省8倍。多轮问答和信息检索任务中表现优异，验证了细粒度压缩的有效性。
结果分析
在长文本任务中，Activation Beacon在保持性能的同时实现了2倍推理加速和8倍KV缓存节省，优于现有方案。具体表现为在文档理解和少样本学习中，压缩比达8倍时仍能保持较高准确率。多轮问答中，模型能准确检索关键信息，验证了其信息保留能力。随机采样不同压缩比例训练，增强了模型的适应性和灵活性。
应用场景
该技术适用于超长文档理解、内容生成、知识存储等场景，尤其在需要处理超出模型原有窗口的文本时表现出色。可广泛应用于法律、科研、内容审核等行业，提升大模型的实际效能。未来，结合稀疏注意力和量化技术，有望进一步降低成本，推动行业普及。
局限与展望
当前方法依赖chunk划分，可能在极端超长文本或动态场景中表现不稳定。压缩比例过高时，信息可能丢失，影响生成质量。训练复杂度增加，模型对不同任务的适应性仍需验证。未来需优化压缩策略，提升鲁棒性和泛化能力。
通俗解读 非专业人士也能看懂
想象你在整理一大堆杂乱的文件，要把它们变得更容易找到重要内容。传统方法就像把所有文件扔进一个箱子，等你需要找东西时再翻半天。而Activation Beacon就像在每堆文件中放置标签（beacon tokens），每个标签都能记住那堆文件的重点信息。每次整理时，你只需看标签，就能快速了解内容大意，而不用翻遍所有文件。这样，不仅节省时间，还能处理比平时多得多的文件。这个方法逐步压缩信息，把复杂内容变得简单明了，就像用标签帮你整理出一份精炼的摘要，方便快速检索和理解。
原文摘要
Long context compression is a critical research problem due to its significance in reducing the high computational and memory costs associated with LLMs. In this paper, we propose Activation Beacon, a plug-in module for transformer-based LLMs that targets effective, efficient, and flexible compression of long contexts. To achieve this, our method introduces the following technical designs. 1) We directly compress the activations (i.e. keys and values at every layer), rather than leveraging soft prompts to relay information (which constitute a major bottleneck to encapsulate the complex information within long contexts). 2) We tailor the compression workflow, where each fine-grained input unit is progressively compressed, enabling high-quality compression and efficient computation during both training and inference. 3) We train the model through compression-based auto-regression, making full use of plain texts and instructional data to optimize the model's compression performance. 4) During training, we randomly sample a compression ratio at each step, teaching the model to support a wide range of compression configurations. Extensive evaluations are conducted on various long-context tasks whose lengths (e.g., 128K) may far exceed the maximum training length (20K), such as document understanding, few-shot learning, and Needle-in-a-Haystack. Whilst existing methods struggle to handle these challenging tasks, Activation Beacon maintains a comparable performance to the uncompressed baseline across various scenarios, achieving a 2x acceleration in inference time and an 8x reduction of memory costs for KV cache. Our data, model, and code have been released at \url{https://github.com/FlagOpen/FlagEmbedding/}.