核心发现
方法论
MAVEN是一种强化学习框架，具有可编辑的证据记忆。它定义了答案条件下的证据状态值，并奖励动作级别的状态转换：添加动作通过边际增益和事后贡献获得奖励，链接动作通过证据协同作用获得奖励，删除动作通过移除误导性证据后改善答案支持获得奖励。
关键结果
- 在LongBench v2上，MAVEN在Llama-3.1-8B模型上提高了3.5个百分点，表现优于仅结果奖励的RL和证据识别基线。
- 在LongReason和RULER数据集上，MAVEN也表现出色，显著提高了证据充分性并降低了干扰项保留。
- 在128K上下文长度下，MAVEN在Qwen3-30B-A3B模型上表现出色，平均得分提高了4.0个百分点。
研究意义
MAVEN通过优化状态化的证据导航，而非一次性证据提取，显著提升了长上下文推理的性能。这一方法不仅在学术界具有重要意义，也为工业界提供了更有效的信息处理和推理工具，解决了长时间以来在长文本中有效推理的痛点。
技术贡献
MAVEN引入了可编辑的证据记忆和动作级别的奖励机制，与现有方法相比，提供了更细粒度的过程监督。其独特之处在于将证据状态的动态变化纳入奖励体系，提供了新的理论保障和工程可能性。
新颖性
MAVEN是首个将证据状态的动态变化纳入奖励机制的框架，与传统的证据提取方法相比，提供了更全面的过程监督和更高效的推理能力。
局限性
- MAVEN在处理极长上下文时可能面临计算成本高的问题，尤其是在需要频繁更新证据记忆的情况下。
- 在某些复杂推理任务中，可能需要更多的手动调参以获得最佳性能。
未来方向
未来的研究方向包括优化MAVEN的计算效率，探索其在更多复杂推理任务中的应用，以及结合其他强化学习技术以进一步提升性能。
AI 总览摘要
长上下文推理是当前大语言模型面临的挑战之一，传统方法常常只关注最终答案或静态证据提取，忽视了中间过程的反馈。MAVEN框架通过引入可编辑的证据记忆和动作级别的奖励机制，解决了这一问题。
MAVEN在Llama和Qwen模型上进行了广泛测试，结果显示其在LongBench v2、LongReason和RULER数据集上均优于现有基线。MAVEN不仅提高了最终答案的准确性，还显著增加了证据的充分性和减少了干扰项的保留。
这一框架为长上下文推理提供了新的思路，通过优化证据状态的动态导航，而非一次性证据提取，显著提升了模型的推理能力。未来的研究将继续优化其计算效率，并探索其在更多复杂任务中的应用。
深度分析
研究背景
长上下文推理是大语言模型的一大挑战，尤其是在需要处理大量分散信息的情况下。近年来，随着上下文窗口的增加，模型处理长文本的能力有所提升，但在有效推理方面仍存在不足。现有方法多关注最终答案或静态证据提取，缺乏对中间过程的反馈。
核心问题
长上下文推理的核心问题在于如何有效地定位、修正和综合分散在长文本中的证据。传统方法往往在找到局部合理的证据后停止探索，导致无法完整恢复证据链。
核心创新
MAVEN框架通过引入可编辑的证据记忆和动作级别的奖励机制，提供了更细粒度的过程监督。其创新之处在于动态评估证据状态的变化，并根据动作对证据状态的影响进行奖励。
方法详解
- �� MAVEN定义了答案条件下的证据状态值。
- �� 奖励动作级别的状态转换：添加、链接、删除。
- �� 使用GRPO优化策略模型。
- �� 在Llama和Qwen模型上进行广泛测试。
实验设计
实验在LongBench v2、LongReason和RULER数据集上进行，使用Llama-3.1-8B、Qwen2.5-14B和Qwen3-30B-A3B模型。评估指标包括证据充分性、干扰项保留和最终答案的准确性。
结果分析
MAVEN在所有测试数据集上均优于现有基线，尤其是在长上下文设置下表现突出。其在Llama-3.1-8B模型上的得分提高了3.5个百分点，显著增加了证据的充分性并减少了干扰项的保留。
应用场景
MAVEN可用于需要处理长文本的各种应用场景，如法律文档分析、科学文献综述和复杂问题求解。其动态证据导航机制为这些领域提供了更高效的推理能力。
局限与展望
MAVEN在处理极长上下文时可能面临计算成本高的问题，尤其是在需要频繁更新证据记忆的情况下。未来的研究将继续优化其计算效率，并探索其在更多复杂任务中的应用。
通俗解读 非专业人士也能看懂
想象你在一个巨大的图书馆中寻找答案。每本书都是一个证据片段，你需要找到正确的书来回答问题。MAVEN就像一个聪明的图书管理员，帮助你选择、链接和丢弃书籍，以便找到最准确的答案。它不仅关注最终找到的书，还会奖励你在过程中做出的每一个正确选择。
简单解释 像给14岁少年讲一样
想象你在玩一个解谜游戏，需要从一堆线索中找出真相。MAVEN就像你的游戏助手，帮助你选择正确的线索，链接相关的信息，并丢弃误导性的线索。它不仅关注你最后是否找到答案，还会奖励你在过程中做出的每一个聪明决定。
术语表
MAVEN (边际值证据导航)
一种强化学习框架，具有可编辑的证据记忆，奖励动作级别的状态转换。
用于长上下文推理的动态证据导航。
GRPO (梯度策略优化)
一种优化策略模型的方法，使用梯度信息来更新策略。
用于优化MAVEN的策略模型。
证据状态值
衡量当前证据记忆是否有助于预测正确答案的函数。
用于评估MAVEN中证据状态的变化。
证据协同作用
两个证据片段共同支持答案的能力。
用于奖励MAVEN中的链接动作。
边际增益
新增证据对当前证据状态的改善程度。
用于奖励MAVEN中的添加动作。
开放问题 这项研究留下的未解疑问
- 1 如何在不增加计算成本的情况下进一步优化MAVEN的性能？
- 2 MAVEN在处理极长上下文时的计算效率如何提升？
应用场景
近期应用
法律文档分析
MAVEN可以帮助律师快速定位和综合相关法律条款，提高案件分析效率。
远期愿景
科学文献综述
MAVEN可以帮助研究人员从大量文献中提取和综合相关研究成果，加速科学发现。
原文摘要
Long-context reasoning requires models to locate, revise, and synthesize evidence distributed across lengthy inputs. Existing long-context RL methods usually reward final answers or static evidence extraction, offering little feedback on how intermediate actions change the model's evidence state. We propose Maven, a reinforcement learning framework with an editable evidence memory. Maven defines an answer-conditioned evidence-state value and rewards action-level state transitions: add actions are credited by marginal gain and hindsight contribution, link actions by evidence synergy, and drop actions by improved answer support after removing misleading evidence. These rewards are assigned to the corresponding action spans in GRPO. Across Llama and Qwen models on LongBench v2, LongReason, and RULER, Maven outperforms outcome-only RL and evidence-identification baselines, producing more sufficient evidence sets and lower distractor retention. Our results show that long-context RL benefits from optimizing stateful evidence navigation rather than one-shot evidence extraction.