核心发现
方法论
LatentPress引入一种基于软标记的直接读取接口，通过冻结解码器和训练少量适配器，将对话历史和长文编码为连续记忆标记。采用角色感知的压缩策略，利用输入结构信息动态分配压缩率，训练目标包括重建损失和KL散度，确保编码信息的保留。该方法无需文本重建，直接在输入嵌入层供解码器读取，有效实现4-16倍压缩。实验证明在LongMemEval和LongBench-QA任务中，压缩后仍保持甚至超越原始上下文的准确率，且写入速度显著快于传统摘要和OCR重建。
关键结果
- 在LongMemEval中，LatentPress在7.70倍压缩率下达到0.504的准确率，优于未压缩的0.490，且优于文本摘要（0.184）和OCR（0.426→0.312）。
- 在LongBench-QA中，角色感知的压缩策略在4-8倍压缩下，压缩后的阅读效果与原始上下文持平或更优，16倍略低于原始。
- 写入每轮对话仅需43毫秒，远快于传统摘要和OCR重建，解码速度比原始上下文快5-9倍。
研究意义
该研究突破了传统文本和视觉信息的压缩限制，提出直接在连续空间操作的软标记接口，为大规模长文本和对话管理提供高效、无损的压缩方案。其无需文本重建的特性极大提升了多轮交互和长文理解的效率，为未来大模型在长文本处理中的应用奠定基础。此技术可广泛应用于对话系统、知识库维护及多模态信息融合，推动智能系统的实时性和规模化发展。
技术贡献
LatentPress的核心创新在于引入一种基于软标记的直接读取接口，冻结解码器参数，仅训练极少量的适配器，从而实现高效压缩。区别于Gist、AutoCompressor等方法，LatentPress无需重建文本，直接在输入嵌入层操作，支持结构化和非结构化内容的差异化压缩。其压缩策略结合输入结构信息，动态调整压缩率，提升信息保留能力。该方法在保持模型性能的同时，大幅降低训练和推理成本，为大模型长文本应用提供新思路。
新颖性
本研究首次提出在保持冻结解码器的基础上，通过训练少量适配器实现多轮对话和长文的连续记忆压缩，突破了传统基于重建或检索的压缩方式的局限。引入角色感知和结构化压缩策略，显著提升压缩比和信息保留效率，展示了连续空间操作在大模型中的潜力。这一创新为长文本理解和多模态融合提供了全新技术路径。
局限性
- 当前压缩策略为手工设计的角色感知和均匀/结构化分配，缺乏自动优化机制，可能在不同任务和内容类型中表现不一致。
- 压缩率过高（如16倍）时，信息损失导致性能下降，尤其在复杂推理和知识更新场景中效果有限。
- 模型在特定任务和数据集上训练，泛化能力仍需验证，尤其是在多模态或动态环境中。
未来方向
未来将探索基于强化学习的动态压缩策略，自动调整每段内容的压缩率以优化信息保留。还计划扩展多模态内容的连续编码，结合视觉、工具和动作信息，构建更全面的长时记忆系统。此外，将研究多任务和多模型的适配能力，提升系统的泛化和实用性。
AI 总览摘要
随着对话系统和长文档分析需求的不断增长，传统的文本存储和处理方式逐渐成为瓶颈。文本摘要和OCR虽能压缩信息，但存在重建成本高、速度慢的问题。LatentPress提出一种创新方案，通过连续记忆标记实现4-16倍的压缩，无需文本重建，极大提升了长文本和多轮对话的处理效率。
该方法利用冻结的解码器和少量训练的适配器，将历史对话和长文编码为连续空间中的软标记。这些软标记在输入层直接供解码器读取，无需中间文本重建，减少了推理延迟。通过角色感知和结构化压缩策略，有效保留关键信息，确保在LongMemEval和LongBench-QA任务中达到甚至超越原始上下文的表现。
实验结果显示，LatentPress在7.70倍压缩率下，准确率达0.504，优于未压缩的0.490，且写入速度比传统方法快10倍以上。其在不同模型规模和任务中的迁移能力也得到验证，表现出良好的泛化性。该技术不仅提升了长文本理解的效率，也为未来多模态、多任务的长时记忆系统提供了新思路。
未来工作将集中在自动化压缩策略、多模态内容编码及多任务适应性方面，推动大模型在复杂场景中的应用普及。LatentPress的核心思想突破了传统文本压缩的局限，为智能系统的实时性和规模化发展提供了强大支撑。
深度分析
研究背景
近年来，深度学习模型在自然语言处理中的表现不断提升，尤其在长文本理解和多轮对话方面取得显著进展。早期方法多依赖文本摘要、检索或视觉重建技术，存在信息损失和处理延迟问题。Gist、AutoCompressor、ICAE等方法尝试将上下文编码为连续向量，但多依赖重建或检索机制，限制了效率和适应性。随着模型规模的扩大，长文本的存储和处理成为瓶颈，亟需更高效的压缩和读取机制。近年来，软标记（soft tokens）作为一种潜在的解决方案逐渐受到关注，旨在在保持信息完整的同时减少存储和计算成本。本论文在此基础上提出LatentPress，结合结构化压缩和角色感知策略，推动长文本和多轮对话的高效连续记忆技术。
核心问题
长文本和多轮对话的存储与理解面临巨大挑战。传统方法依赖文本摘要或OCR重建，存在信息丢失、处理慢、成本高的问题。如何在保证信息完整的前提下，实现更高压缩比和更快的推理速度，成为核心难题。尤其是在模型冻结的情况下，如何设计一种无需重建文本的直接读取接口，成为研究焦点。现有技术缺乏兼顾效率和信息保留的解决方案，限制了长文本和对话系统的实用性和扩展性。这一问题的解决，将极大推动智能系统在实时性和规模上的突破。
核心创新
本研究的创新点主要包括：1）引入连续空间中的软标记作为长文本和对话的压缩载体，避免文本重建，显著提升效率；2）设计角色感知的压缩策略，根据对话角色动态调整压缩率，增强信息保留；3）仅训练少量适配器，保持解码器冻结，降低训练成本。相比以往依赖重建或检索的方案，LatentPress在保持模型性能的同时，大幅减少了存储和推理时间。其结构化压缩机制结合输入内容的结构信息，实现了高效的多轮对话和长文理解，为大模型长文本应用提供了新思路。
方法详解
- �� 将长文本或对话拆分为多个段落或轮次，作为输入序列；
- �� 设计角色感知的压缩策略，根据角色类型动态调整每段的压缩率；
- �� 训练一个轻量级的适配器，将每段内容映射为连续软标记，输入到冻结的解码器中；
- �� 采用目标函数结合重建损失和KL散度，确保编码信息的完整性；
- �� 在推理阶段，直接用软标记作为输入，无需文本重建；
- �� 通过不同的压缩比例，平衡信息保留和存储效率，实现4-16倍压缩；
- �� 在LongMemEval和LongBench-QA任务中测试模型的准确性和效率，验证其迁移能力和泛化性。
实验设计
采用LongMemEval和LongBench-QA两个公开数据集，评估压缩效果和推理速度。对比未压缩、文本摘要、OCR和不同压缩率的LatentPress，使用Qwen系列模型作为基础解码器。指标包括准确率、压缩比、写入时间和推理延迟。实验设计涵盖跨域和内域迁移，验证模型在不同场景下的表现。超参数包括压缩比例（4-16倍）和角色感知策略，进行多轮消融分析，确保方法的稳健性和适应性。
结果分析
LatentPress在LongMemEval中，7.70倍压缩率下达成0.504准确率，优于未压缩的0.490，且明显优于文本摘要（0.184）和OCR（0.426→0.312）。在LongBench-QA中，4-8倍压缩下，压缩后效果与原始持平或更优，16倍略低。写入速度仅需43毫秒，远快于传统方法的几百毫秒。模型在不同规模（Qwen2.5-7B、8B、14B）上表现一致，验证了其迁移和泛化能力。这些结果表明，LatentPress在保持高准确率的同时，大幅提升了长文本和对话的处理效率。
应用场景
该技术适用于智能客服、知识库管理、多轮对话系统和多模态信息融合场景。只需在模型端引入软标记编码，无需复杂的检索或重建流程，即可实现高效存储和快速响应。未来可结合动态压缩策略，适应不同任务和内容类型，推动大规模长文本理解的实用化。长远来看，该方案有望成为大模型在实时交互和大规模知识管理中的核心技术之一。
局限与展望
当前方法依赖手工设计的角色感知和压缩策略，缺乏自动优化机制，可能在内容结构复杂或变化频繁的场景中表现不佳。高压缩比（如16倍）会导致信息丢失，影响推理和知识更新能力。模型在特定任务和数据集上训练，泛化到多模态或动态环境仍存在挑战。未来需引入自适应策略和多模态编码，提升鲁棒性和适应性。
通俗解读 非专业人士也能看懂
想象你在整理一大堆书和笔记，要让别人快速理解内容，你可以用简短的标签或关键词来代表每本书的核心信息，而不是逐字逐句地复述。LatentPress就像用这些关键词标签，把长长的对话或文章变成一串简洁的符号，这些符号可以直接告诉模型“这段话讲的是什么”，而不用重新写一遍。这样一来，存储和传输都变得更快更轻松，就像用便签代替整本书一样。模型只需要看这些标签，就能快速理解和回答问题，效率大大提升。这种方法特别适合处理海量信息，比如聊天记录、长篇文章或多模态内容，节省了大量时间和计算资源。
简单解释 像给14岁少年讲一样
你知道我们平时写笔记的时候，会用一些简短的关键词或者符号来代表一大段内容吗？比如“考试”、“朋友”、“电影”，这样就不用每次都写一大堆字。LatentPress就像这样，把长长的对话或者文章变成一串特别短的符号（叫软标记），模型可以直接看这些符号，知道它们代表的意思，然后快速回答问题。这样一来，存储信息变得很快，模型反应也更快，就像用便签代替整本书一样。它还能根据内容的不同角色（比如用户还是助手）调整压缩的程度，既节省空间，又不丢失重要信息。这个方法让长对话和长文章的理解变得更高效，特别适合用在聊天机器人、知识库和多模态系统中。
原文摘要
Compressed context is usually carried as human-readable text or as rendered images that must be decoded, even when its consumer is a language model. We introduce LatentPress, which writes conversational histories and long documents into a third representation: continuous memory tokens that a frozen decoder reads directly through its input-embedding interface, with no text reconstruction at inference. A small reader-matched writer compresses $4$-$16\times$ while training only an adapter (4.2M-26.2M parameters, $\sim\!0.1\%$ of the decoder). On LongMemEval, LatentPress reaches $0.504$ accuracy at $7.70\times$ compression versus $0.490$ for uncompressed evidence, outperforming text summaries (0.184) and OCR-based compression (0.426 to 0.312). On LongBench-QA, in-domain writers match or exceed raw-context reading at $4$-$8\times$ compression, while $16\times$ trails raw. Writing takes 43ms per conversation, roughly an order of magnitude faster than text summarization or OCR reconstruction, and reading is $5$-$9\times$ faster than raw context or cached OCR. We validate the interface under two transfer settings, zero-shot from UltraChat to LongMemEval memory QA and from LongMemEval-derived QA to unseen LongBench document domains, establishing direct soft tokens as a practical machine-facing context interface beyond text and vision. The implementation of the experiments could be found at: https://github.com/xuyd16ai/context_softtoken_compress .