核心发现
方法论
REFACT采用双阶段训练框架，结合教师模型生成高质量引用感知推理轨迹，优化学生模型的事实选择与重述策略。核心机制包括基于证据粒度的自适应引用、多粒度事实重述，以及通过SFT到RL的训练流程，确保模型在不同上下文长度下都能高效、准确地进行推理。具体算法涉及基于证据的标签引导、多目标奖励机制（格式、准确性、可追溯性、答题能力），以及多样化长文本数据的合成。模型在LongBench、LV-Eval和ConFiQA上显著优于对比方法，表现为更高的证据密度、更短的推理路径和更强的事实支持能力。
关键结果
- REFACT在LongBench v1中平均F1提升至64.4，比传统方法节省推理Token数约30%，且在长上下文（128k）场景下表现优异，证据密度提高20%以上。LV-Eval测试中，FactRecall提升至66.3%，显著优于LongAlign和LongFaith。ConFiQA中，模型在源可靠性指标上也有明显改善，显示其在复杂推理中的适应性和事实支持能力增强。
- 在不同上下文长度下，REFACT保持较高的证据利用效率，减少冗余信息，增强推理的连贯性和可信度。通过对比消融实验，验证了自适应事实重述和证据选择机制的关键作用，显著优于固定粒度或无证据重述的模型。
- 模型在推理路径的简洁性和事实支持的准确性方面均优于现有主流方法，展现出在长文本推理任务中的潜力和优势。
研究意义
该研究突破了长文本推理中事实支持与路径压缩的瓶颈，提出的REFACT框架有效提升模型的推理信度和效率，为大规模语言模型在复杂推理任务中的应用提供了理论基础和技术方案。其自适应事实重述机制增强了模型对证据的敏感性和选择性，解决以往模型依赖记忆或粗糙证据匹配带来的偏差问题，推动了模型可解释性和可信度的提升。这对于自动问答、知识推理、决策支持等场景具有重要的实际意义，尤其在需要高可靠性和精确证据追溯的应用中展现出巨大潜力。
技术贡献
REFACT的核心技术创新在于引入自适应事实重述机制，结合多粒度证据标签引导和奖励优化，显著提升推理路径的紧凑性与证据密度。通过两阶段训练策略（SFT到RL），模型学会在不同上下文长度下动态选择和重述支持事实，突破了传统静态引用和事实重述的局限。算法设计包括基于证据粒度的标签引导、多目标奖励机制（格式、准确性、可追溯性、答题能力）以及多样化长文本合成技术，确保模型在复杂环境中保持高效、可靠的推理能力。这些技术为未来长文本推理模型提供了新的设计思路和理论支撑。
新颖性
REFACT首次提出自适应事实重述策略，将引用机制与推理路径紧密结合，动态调整事实粒度以支持不同推理步骤。这一机制区别于传统的后置引用或静态事实重述，显著提升了推理的紧凑性和可信度。其创新在于引入多粒度证据标签和奖励机制，优化模型在长上下文中的证据选择与表达方式，突破了现有方法在证据利用效率和路径简洁性上的瓶颈。该方法在长文本推理领域实现了理论与实践的突破，为未来模型的可解释性和可信性奠定基础。
局限性
- 模型对高质量训练数据依赖较大，实际应用中可能受限于数据的多样性和标注质量。
- 在极长上下文（如超百千字）场景下，推理效率和证据筛选仍面临挑战，需进一步优化算法复杂度。
- 模型在面对高度冲突或噪声证据时，重述策略可能不够鲁棒，影响推理的准确性。
未来方向
未来将探索多模态证据融合，增强模型在多源信息环境下的推理能力；同时，优化证据筛选与重述的效率，适应更大规模的长文本场景。此外，将引入更丰富的奖励机制和自监督信号，提升模型在实际应用中的鲁棒性和泛化能力。
AI 总览摘要
在复杂的长文本推理任务中，确保模型输出的推理路径既简洁又可信一直是研究难点。传统方法多依赖静态引用或后置证据附加，难以兼顾推理效率和事实支持的充分性。本文提出的REFACT框架，通过引入自适应事实重述机制，有效解决了这一问题。该方法利用教师模型生成高质量的证据轨迹，并通过两阶段训练（SFT到RL）优化学生模型，实现动态选择和重述支持事实，显著提升推理的证据密度和路径紧凑性。实验证明，REFACT在LongBench、LV-Eval和ConFiQA上均优于现有主流方法，不仅提高了问答准确率，还大幅减少了推理Token数，展现出在长文本推理中的巨大潜力。其核心创新在于结合多粒度证据标签和奖励机制，实现推理路径的自适应优化，为未来大规模语言模型在复杂推理场景中的应用提供了新思路。尽管如此，模型仍面临数据依赖和极长上下文的挑战，未来将继续优化算法效率和多模态融合能力，以实现更广泛的应用。
深度分析
研究背景
近年来，大型语言模型（LLMs）在自然语言理解和推理方面取得了显著进展。早期工作如GPT-3、BERT推动了模型规模和能力的提升，但在长文本推理中仍存在路径冗长、证据利用不足的问题。为解决这一问题，研究者提出多种增强模型推理能力的方法，包括检索增强（RAG）模型、长上下文微调（Long-Context Fine-Tuning）以及多智能体协作等。这些方法改善了模型对长文本的理解，但在推理路径的可信性和证据追溯方面仍有不足，尤其是在多源信息冲突和噪声环境下。近年来，证据引导和引用机制逐渐成为研究热点，旨在提升模型的可解释性和可靠性。
核心问题
当前大模型在长文本推理中面临的核心问题是路径的冗长与证据的不足。模型常常依赖记忆或粗糙匹配，导致推理路径繁琐且不够紧凑，影响推理的效率和可信度。此外，缺乏有效的机制动态选择支持事实，难以应对不同上下文长度和证据复杂度的场景。这些问题限制了模型在实际应用中的表现，特别是在需要高证据密度和路径简洁性的任务中。
核心创新
REFACT的创新点在于引入自适应事实重述机制，结合多粒度证据标签和奖励优化，动态调整事实粒度以支持不同推理步骤。它区别于传统静态引用或后置证据附加的方法，能在推理过程中实时选择和重述支持事实，提升路径紧凑性和可信度。其核心创新还包括基于证据粒度的标签引导、多目标奖励机制（格式、准确性、可追溯性、答题能力）以及多样化长文本合成技术，为长文本推理提供了全新的技术框架。
方法详解
- �� 采用双阶段训练：第一阶段为监督微调（SFT），输入为问题和长文本上下文，输出为带有证据标记的推理轨迹；第二阶段为基于奖励的强化学习（RL），优化模型的证据选择和重述策略。• 利用教师模型生成高质量的证据轨迹，结合多粒度标签（实体、短语、句子、段落）引导模型学习不同粒度的事实重述。• 设计多目标奖励机制，包括格式（标签正确性）、准确性（答案匹配）、可追溯性（证据完整性）和答题能力（证据充分性），确保推理路径紧凑且事实充分。• 构建多样化长文本训练数据，通过插入不同长度的干扰文档，增强模型在不同上下文长度下的适应性。• 在训练过程中，模型学会在不同推理步骤中动态选择证据粒度和重述方式，提升推理效率。
实验设计
使用LongBench、LV-Eval和ConFiQA等数据集，评估模型在多场景长文本问答中的表现。对比基线包括Zero-Shot、LongAlign、LongFaith和CARE等，指标涵盖F1、Token数、证据密度等。采用不同长度的干扰文档构建多样化训练集，验证模型在不同上下文长度下的适应性。通过消融实验验证证据粒度标签和奖励机制的重要性，分析模型在路径紧凑性和证据支持上的改进。参数设置包括奖励系数和训练轮次，确保模型在多任务目标下的平衡。
结果分析
REFACT在LongBench v1中平均F1达64.4，Token数显著少于对比模型，提升约30%。在128k长文本场景下，证据密度提升20%以上，推理路径更短更紧凑。LV-Eval中FactRecall提升至66.3%，在复杂推理任务中表现优越。ConFiQA中，模型在源信度指标上也优于对比方法，显示其在多源信息环境中的适应性。消融实验显示自适应事实重述和多粒度标签机制是性能提升的关键因素。整体而言，REFACT实现了推理路径的简洁性和证据的充分性双重优化。
应用场景
该技术适用于自动问答、知识推理、智能助手等场景，尤其在需要高证据追溯和路径可信的应用中表现优异。模型可在法律、医疗、金融等领域提供可靠的推理支持，提升系统的透明度和可信度。未来，结合多模态信息和大规模长文本数据，将进一步拓展其应用范围，实现更智能、更可信的自动推理系统。
局限与展望
模型对高质量训练数据依赖较大，实际应用中可能受限于数据的多样性和标注质量。极长上下文（如超百千字）时，推理效率和证据筛选仍需优化。面对高度冲突或噪声证据时，重述策略可能不够鲁棒，影响推理准确性。未来需增强模型的鲁棒性和泛化能力，降低对数据的依赖。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。每次做菜都需要用到不同的食材和调料，有时候你会提前准备好所有材料，有时候则需要根据菜谱逐步添加。REFACT就像一个聪明的厨师，知道什么时候需要用特定的调料，什么时候只需要用少量就能让菜变得更好吃。它会根据菜的不同阶段，灵活调整用料的细节，确保每一步都用最合适的材料，最后做出既美味又不浪费的菜。这种方法让厨房变得更高效，也让菜的味道更正宗。
简单解释 像给14岁少年讲一样
想象你在学校的科学实验室里做实验。有时候你需要用到各种不同的材料，比如化学药品或工具，但你不一定每次都用全部材料。REFACT就像一个聪明的助手，它会告诉你什么时候需要用特定的材料，甚至会帮你用最合适的量和方式来描述这些材料。这样，你的实验既不会太复杂，也能确保每一步都用对了材料，最后得到准确的结果。它让你在做复杂的科学实验时，既省时又能保证结果的可靠，就像一个懂得精细操作的好助手一样。
术语表
Chain-of-Thought Reasoning (链式推理)
一种逐步推导答案的方法，通过中间推理步骤连接问题与答案。
论文中强调链式推理的路径紧凑性和事实支持。
Fact Restatement (事实重述)
将支持事实用不同粒度或表达方式重新描述，以增强推理的事实基础。
REFACT核心机制之一，用于自适应事实重述。
Citation-aware reasoning (引用感知推理)
在推理过程中动态引入引用信息，确保推理路径与证据紧密结合。
提升推理的可信度和可追溯性。
SFT (Supervised Fine-Tuning, 监督微调)
利用标注数据对模型进行微调，以学习特定任务的行为。
训练阶段的基础步骤。
RL (Reinforcement Learning, 强化学习)
通过奖励机制优化模型策略，使其在任务中表现更优。
第二阶段训练的关键技术。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升模型在极长文本（超百千字）场景下的推理效率和证据筛选能力仍未解决。
- 2 多模态信息融合在长文本推理中的应用尚处于探索阶段，未来需结合视觉、声音等多源信息提升推理能力。
原文摘要
Large Language Models (LLMs) increasingly leverage long-form reasoning to solve complex tasks, yet their reasoning processes can deviate from the provided context when evidence is incomplete, noisy, or conflicts with parametric knowledge. Existing grounding approaches either append citations after generation or encourage LLMs to retrieve evidence during reasoning, but they often fail to ensure that cited information is sufficient to support intermediate inferences and final answers. To address this limitation, we propose REFACT, an adaptive fact-restatement citation framework that enables LLMs to determine when contextual grounding is needed and selectively restate source facts at appropriate levels of detail for reliable reasoning. To facilitate adaptive citation during reasoning, REFACT first leverages a teacher LLM to construct high-quality citation-aware reasoning trajectories under diverse context conditions with varying evidence lengths, and then optimizes the student LLM through a two-stage SFT-to-RL framework. Experiments on LongBench, LV-Eval, and ConFiQA demonstrate that REFACT improves long-context question answering and counterfactual faithfulness while substantially reducing the number of reasoning tokens. Further analysis reveals that REFACT achieves higher evidence density by preserving more answer-relevant facts with fewer restatements, producing reasoning traces that are more concise yet better grounded. All code and data will be released via https://github.com/NEUIR/REFACT.