核心发现
方法论
本文提出了一种无监督的文档重构方法，通过在长文档中替换段落并要求模型重构文档来训练LLMs。使用强化学习，模型通过识别和排序缺失段落来捕捉全局叙述连贯性，从而提升长上下文性能。
关键结果
- 在RULER基准测试中，方法提升了近10分，证明了其在长上下文理解中的有效性。
- 在LongBench v2上，尽管没有使用人工标注数据，方法仍然实现了合理的性能提升。
- 消融研究表明，奖励设计和数据规模对模型性能有显著影响。
研究意义
该研究通过无监督方法解决了长上下文理解中的标注成本问题，为大规模语言模型的训练提供了新的思路，特别是在无需人工标注的情况下提升模型性能。
技术贡献
技术贡献包括提出了一种新的无监督RLVR框架，消除了对人工标注和教师模型的依赖，并通过文档重构任务实现了对长上下文的有效训练。
新颖性
首次提出无监督的文档重构方法用于长上下文RLVR训练，区别于依赖人工标注的传统方法，提供了一种更具扩展性的训练机制。
局限性
- 在特定场景下，模型可能无法准确识别段落顺序，导致重构失败。
- 对文档长度和复杂性的处理能力有限。
未来方向
未来研究可以探索更复杂的文档结构和多语言支持，以进一步增强长上下文理解能力。
AI 总览摘要
长上下文理解是大语言模型的一个重要挑战，传统方法依赖于人工标注或教师模型，成本高昂且难以扩展。本文提出了一种无监督的文档重构方法，通过在长文档中替换段落并要求模型重构文档来训练LLMs。实验结果表明，该方法在RULER和LongBench v2基准测试中取得了显著的性能提升，尤其是在无需人工标注的情况下。此方法不仅降低了训练成本，还为长上下文理解提供了一种新的思路。尽管如此，模型在处理极长文档时仍面临挑战，未来研究可以探索更复杂的文档结构和多语言支持。
深度分析
研究背景
随着大语言模型的快速发展，长上下文理解成为一个关键挑战。传统方法依赖于人工标注或教师模型，成本高昂且难以扩展。近年来，强化学习与可验证奖励（RLVR）被广泛应用于提升模型的推理能力，但其在长上下文中的应用仍受限于外部监督。
核心问题
长上下文理解的核心问题在于如何在无需人工标注的情况下训练模型捕捉全局叙述连贯性。现有方法依赖于人工标注或教师模型，难以满足大规模数据集的需求。
核心创新
本文创新性地提出了一种无监督的文档重构方法，通过在长文档中替换段落并要求模型重构文档来训练LLMs。此方法消除了对人工标注和教师模型的依赖，提供了一种更具扩展性的训练机制。
方法详解
- �� 替换长文档中的部分段落，插入占位符
- �� 提供一组候选段落，要求模型重构原文
- �� 使用强化学习训练模型，优化其识别和排序能力
- �� 通过文档重构任务捕捉全局叙述连贯性
实验设计
实验使用RULER和LongBench v2基准测试，评估模型在不同上下文长度下的性能。采用GRPO优化策略，使用AdamW优化器，学习率为1e-6。
结果分析
在RULER基准测试中，方法提升了近10分，证明了其在长上下文理解中的有效性。在LongBench v2上，尽管没有使用人工标注数据，方法仍然实现了合理的性能提升。
应用场景
该方法可用于需要长上下文理解的领域，如法律文档分析、长篇小说生成等，降低了对人工标注的依赖。
局限与展望
尽管取得了显著进展，模型在处理极长文档时仍面临挑战，未来研究可以探索更复杂的文档结构和多语言支持。
通俗解读 非专业人士也能看懂
想象你在拼一幅巨大的拼图，但没有图案参考。你需要根据每块拼图的形状和颜色来猜测它们的正确位置。本文的方法就像是一个聪明的助手，它可以帮助你根据拼图的整体结构来更快地完成拼图，而不需要你提前知道每块拼图的确切位置。
简单解释 像给14岁少年讲一样
想象你在玩一个拼图游戏，但没有图案参考。你需要根据每块拼图的形状和颜色来猜测它们的正确位置。本文的方法就像是一个聪明的助手，它可以帮助你根据拼图的整体结构来更快地完成拼图，而不需要你提前知道每块拼图的确切位置。
术语表
强化学习 (Reinforcement Learning)
一种机器学习方法，通过奖励和惩罚来训练模型进行决策。
用于训练模型重构文档的过程。
可验证奖励 (Verifiable Rewards)
一种奖励机制，奖励信号可以通过数据本身验证。
用于评估模型输出的准确性。
文档重构 (Document Reconstruction)
通过识别和排序缺失段落来重构原始文档。
作为训练任务来提升模型的长上下文理解能力。
长上下文 (Long Context)
涉及大量信息的上下文，通常需要模型处理数千到数万个标记。
本文的主要研究对象。
无监督学习 (Unsupervised Learning)
一种学习方法，不依赖于人工标注的数据。
用于训练模型的文档重构任务。
开放问题 这项研究留下的未解疑问
- 1 如何在更复杂的文档结构中应用该方法？
- 2 该方法在多语言环境中的表现如何？
应用场景
近期应用
法律文档分析
自动分析长篇法律文档，减少人工标注需求。
远期愿景
多语言支持
扩展方法以支持多语言文档，提升全球适用性。
原文摘要
Reinforcement Learning with Verifiable Rewards~(RLVR) has become a prominent paradigm to enhance the capabilities (i.e.\ long-context) of Large Language Models~(LLMs). However, it often relies on gold-standard answers or explicit evaluation rubrics provided by powerful teacher models or human experts, which are costly and time-consuming. In this work, we investigate unsupervised approaches to enhance the long-context capabilities of LLMs, eliminating the need for heavy human annotations or teacher models' supervision. Specifically, we first replace a few paragraphs with special placeholders in a long document. LLMs are trained through reinforcement learning to reconstruct the document by correctly identifying and sequencing missing paragraphs from a set of candidate options. This training paradigm enables the model to capture global narrative coherence, significantly boosting long-context performance. We validate the effectiveness of our method on two widely used benchmarks, RULER and LongBench~v2. While acquiring noticeable gains on RULER, it can also achieve a reasonable improvement on LongBench~v2 without any manually curated long-context QA data. Furthermore, we conduct extensive ablation studies to analyze the impact of reward design, data curation strategies, training schemes, and data scaling effects on model performance. We publicly release our code, data, and models.