核心发现
方法论
本文提出了COMPINT评估套件，用于评估上下文压缩过程中会话约束的保留情况。通过引入SC感知提取器，与压缩器并行运行，显著提高了会话约束的保留率。
关键结果
- 当前压缩器平均仅保留17%的会话约束，而SC感知提取器能在所有场景中实现超过90%的保留率。
- 研究表明，保留率与压缩器选择、提示、上下文长度、SC措辞和注入位置密切相关。
- 通过COMPINT评估套件，验证了SC感知提取器的有效性。
研究意义
该研究解决了上下文压缩过程中会话约束丢失的问题，提出了一种可插拔模块，显著提高了会话约束的保留率。这一成果对提高LLM系统的任务完整性具有重要意义。
技术贡献
本文提出了一种新的SC感知提取器，与现有压缩器兼容，不需要修改LLM或压缩器即可显著提高会话约束的保留率。
新颖性
这是首次系统性地研究上下文压缩对会话约束的影响，并提出了一种有效的解决方案。
局限性
- SC感知提取器虽然提高了保留率，但在某些复杂场景中仍可能出现约束丢失。
- 研究未涉及不同LLM架构对SC保留率的影响。
未来方向
未来研究可以探索不同LLM架构对SC保留率的影响，并优化SC感知提取器以适应更多场景。
AI 总览摘要
在长上下文场景中，LLM系统常常需要压缩上下文以继续任务。然而，这种压缩过程可能导致用户发出的会话约束被丢失，从而影响任务的完整性。为了解决这一问题，本文提出了COMPINT评估套件，专门用于评估上下文压缩过程中会话约束的保留情况。
研究发现，当前压缩器平均仅保留17%的会话约束，表现不如不进行压缩时。为此，作者提出了一种SC感知提取器，与压缩器并行运行，作为一种可插拔模块，在不修改LLM或压缩器的情况下，实现了超过90%的保留率。
这一研究不仅揭示了上下文压缩对会话约束的系统性影响，还提供了一种有效的解决方案，对提高LLM系统的任务完整性具有重要意义。未来研究可以进一步探索不同LLM架构对SC保留率的影响，并优化SC感知提取器以适应更多场景。
深度分析
研究背景
随着LLM技术的发展，长上下文处理能力显著提升。然而，现有的上下文压缩方法在处理复杂任务时，往往忽略了用户发出的会话约束，导致任务完整性受损。为解决这一问题，本文提出了一种新的评估套件。
核心问题
上下文压缩过程中会话约束被丢失，影响任务完整性。现有压缩器未能有效保留这些约束，导致用户指令被忽略。
核心创新
提出COMPINT评估套件，专门用于评估上下文压缩对会话约束的影响。引入SC感知提取器，与压缩器并行运行，显著提高约束保留率。
方法详解
- �� 引入COMPINT评估套件，评估上下文压缩对会话约束的影响。
- �� 提出SC感知提取器，与压缩器并行运行，作为可插拔模块。
- �� 通过实验验证提取器的有效性。
实验设计
实验设计包括三个长上下文场景：多轮对话、代理轨迹和长时间研究。使用不同压缩器进行对比，评估SC感知提取器的保留率。
结果分析
实验结果显示，当前压缩器平均仅保留17%的会话约束，而SC感知提取器能在所有场景中实现超过90%的保留率。
应用场景
该研究可用于提高LLM系统在复杂任务中的完整性，适用于需要长时间上下文处理的场景，如客户服务和自动化研究。
局限与展望
虽然SC感知提取器提高了保留率，但在某些复杂场景中仍可能出现约束丢失。未来研究可以优化提取器以适应更多场景。
通俗解读 非专业人士也能看懂
想象你在一个繁忙的厨房里工作。你告诉助手在你确认之前不要丢弃任何食材，但助手在整理厨房时忘记了这个指令，导致一些重要食材被丢弃。本文研究类似问题，提出了一种方法来确保助手在整理过程中记住你的指令。
简单解释 像给14岁少年讲一样
想象你在玩一个复杂的游戏，你告诉队友在你确认之前不要采取行动。但当游戏变得复杂时，队友忘记了你的指令，导致游戏失败。本文研究类似问题，提出了一种方法来确保队友在复杂情况下记住你的指令。
术语表
上下文压缩 (Context Compaction)
减少上下文窗口压力的过程，通过总结对话历史来继续任务。
用于在长上下文场景中减少记忆负担。
会话约束 (Session Constraints)
用户发出的指令，用于限制LLM在当前会话中的行为。
在上下文压缩时容易被丢失。
SC感知提取器 (SC-aware Extractor)
一种与压缩器并行运行的模块，用于提高会话约束的保留率。
作为可插拔模块使用，不需要修改LLM或压缩器。
COMPINT评估套件 (COMPINT Evaluation Suite)
用于评估上下文压缩对会话约束影响的工具集。
通过实验验证其有效性。
长上下文场景 (Long-context Scenarios)
需要处理大量信息的任务场景，如多轮对话和长时间研究。
用于测试压缩器的保留率。
开放问题 这项研究留下的未解疑问
- 1 如何优化SC感知提取器以适应更多复杂场景？
- 2 不同LLM架构对会话约束保留率的影响是什么？
应用场景
近期应用
客户服务
提高客户服务中LLM系统的任务完整性，确保用户指令被准确执行。
远期愿景
自动化研究
在自动化研究中应用，确保长时间任务中用户指令的完整性。
原文摘要
When the context window is under pressure, LLM systems compact prior context to continue ongoing tasks. We identify a class of user-issued instructions, Session Constraints (SCs), such as "do not delete any emails until I confirm," that are meant to constrain LLM's behavior for the remainder of a session but are silently dropped during compaction. To quantify this loss, we introduce COMPINT, an evaluation suite that evaluates compactors across three long-context scenarios: multi-turn chat, agentic trajectory, and long-horizon research. Current compactors retain only 17% of injected SCs on average, and most perform worse than running the same task without compaction. Retention varies sharply with compactor, prompt, context length, SC phrasing, and injection location, showing that the loss is systematic rather than tied to any single setting. We propose an SC-aware extractor that runs alongside the compactor as a plug-and-play module, achieving over 90% retention across all three scenarios without modifying the compactor or LLM. The COMPINT evaluation suite and accompanying implementation are available at https://github.com/ZhiqiEliWang/compaction-integrity.