核心发现
方法论
IAR框架包括Inject、Align和Recover三阶段。Inject利用续写、重写和指令条件重建目标，将文档知识转化为监督信号；Align通过只答题监督，将知识映射到问答接口；Recover采用模型合并技术，平衡领域性能与通用能力。该流程在多个模型（如Llama、Qwen）和数据集（CC、CCI）上验证，有效提升无检索问答的领域准确率和通用指标，平均提升3.6个百分点和12.1个百分点。
关键结果
- 在7个模型和8个数据集配置中，IAR在所有指标上优于Vanilla SFT，平均提升3.6%领域问答准确率和12.1%的通用性能，显著优于传统持续预训练和单阶段微调方法。
- 在CC和CCI两个数据集上，IAR在多项指标中优于LoRA和FAPM等参数高效微调技术，尤其在Qwen-3-4B模型中表现突出，最大提升达9个百分点。
- 通过不同的合并策略（如SLERP、TIES、DARE），Recover阶段有效缓解了领域适应带来的灾难性遗忘，确保模型在保持领域知识的同时，保持指令遵循能力。
研究意义
该研究突破了传统模型知识内化的局限，提出系统化的三阶段策略，有效解决了无检索问答中知识获取与能力保持的矛盾。其在多个模型和数据集上的验证，彰显了方法的广泛适用性和优越性，为大规模预训练模型的知识内化提供了新思路，推动了问答系统的自主知识掌握与应用能力的提升，具有重要的学术和工业价值。
技术贡献
创新点在于引入结构化文档知识注入、问答行为对齐和模型合并的分阶段策略，区别于传统持续预训练（CPT）和单阶段微调（SFT）。提出的Inject利用续写、重写和指令条件重建目标，增强模型对文档知识的表达能力；Align通过只答题监督，确保知识的问答可访问性；Recover采用多策略模型合并，有效平衡领域性能与通用能力。这一体系化设计提供了理论上的操作框架和实践中的优化路径，为模型知识内化提供了新范式。
新颖性
本研究首次系统性将文档知识注入、问答对齐与模型合并三阶段结合，提出分阶段策略以解决知识内化中的知识表达、可访问性与能力保持矛盾。不同于现有的持续预训练和参数高效微调方法，IAR强调知识结构化注入与能力恢复的分离，创新性地实现了无检索问答的知识内化，填补了该领域的研究空白。
局限性
- 当前方法对大规模模型的计算成本较高，模型合并和多阶段训练增加了训练复杂度，可能限制在资源有限环境中的应用。
- 在极端知识更新场景或超出训练数据范围的问答任务中，模型的知识表达和能力恢复仍存在不足，未来需结合知识编辑和动态更新机制。
- 不同模型和数据集的适应性存在差异，部分场景下模型合并策略效果不稳定，需进一步优化合并算法和调参策略。
未来方向
未来将探索动态知识更新机制，结合知识编辑和持续学习，提升模型的知识适应性。还计划扩展多模态知识内化，结合图像、视频等多源信息，增强模型的多模态理解能力。此外，将研究更高效的模型合并算法，降低计算成本，提升实际部署的可行性。
AI 总览摘要
近年来，大规模预训练语言模型在知识存储和问答任务中取得了巨大成功，但其知识的获取主要依赖于检索机制，导致在检索不可用或受限场景下表现不足。传统的微调方法如Vanilla SFT在知识内化方面存在表达有限、能力退化的问题，而持续预训练（CPT）虽能增强文档理解，但难以保证问答能力的保持。为解决这一矛盾，本文提出了“Inject、Align、Recover（IAR）”三阶段框架，系统性地实现无检索文档知识的内化。第一阶段Inject通过续写、重写和指令条件重建，将文档知识转化为监督信号，增强模型对文档内容的表达能力。第二阶段Align利用只答题的监督，将注入的知识映射到问答接口，确保知识的可访问性。第三阶段Recover采用多策略模型合并技术，平衡模型在领域问答和通用能力上的表现，缓解灾难性遗忘。实验证明，IAR在多个模型（如Llama、Qwen）和数据集（CC、CCI）上，显著优于传统微调和参数微调技术，平均提升领域问答准确率3.6个百分点和通用性能12.1个百分点。该方法不仅提升了无检索问答的实用性，也为大模型知识内化提供了新思路，具有广泛的学术和工业应用潜力。未来，结合动态知识更新和多模态信息融合，将进一步推动模型自主知识掌握的边界。
深度分析
研究背景
大规模预训练模型在存储和利用知识方面已取得突破，但其知识主要通过检索机制实现，存在检索延迟和隐私风险。早期工作如GPT、BERT等通过参数存储知识，面临知识更新和表达能力有限的问题。随后，检索增强生成（RAG）等方法引入外部存储，但依赖检索器的效率和准确性。持续预训练（Gururangan et al., 2020）增强模型对文档的理解，但难以保证问答能力的保持。近年来，参数高效微调（LoRA、FAPM）等技术试图在保持能力的同时适应新知识，但仍面临知识表达有限的问题。本文在此基础上，提出系统化的知识内化策略，旨在突破单一微调的局限，提升模型在无检索条件下的知识表现。
核心问题
核心问题在于如何在不依赖检索的情况下，将固定文档集合的知识有效内化到模型参数中。传统微调（SFT）在知识表达上有限，难以覆盖全部文档信息；持续预训练虽能增强理解，但可能损失原有指令遵循能力。知识表达的稀疏性和可访问性不足，导致模型在实际应用中表现不佳。此外，领域适应过程中模型能力可能退化，如何在保持通用能力的同时实现领域知识的深度内化，成为亟待解决的难题。
核心创新
本研究的创新点主要在于提出分阶段策略：• Inject阶段通过续写、重写和指令条件重建，将文档知识密集注入模型，增强知识表达能力；• Align阶段利用只答题的监督，将知识映射到问答界面，确保知识的可访问性；• Recover阶段采用多策略模型合并技术，有效缓解灾难性遗忘，平衡领域性能与通用能力。这一体系化设计区别于传统的单阶段微调或持续预训练，强调知识的结构化注入与能力的恢复，提供了理论上的操作框架和实践中的优化路径。
方法详解
- �� Inject：利用续写（predict suffix）、重写（知识重建）和指令条件重建（指令格式化）目标，将文档内容转化为监督信号，增强模型对文档的理解和表达能力。• Align：在注入知识后，使用只答题的监督（answer-only QA）微调模型，确保知识在问答任务中的可访问性。• Recover：从原始指令模型出发，结合模型合并策略（如SLERP、TIES、DARE），在验证集上选择平衡领域准确率和通用指标的模型，缓解知识内化带来的能力退化。整个流程通过多轮调优和模型合并，优化模型在无检索条件下的问答表现。
实验设计
在两个主要数据集（CC、CCI）上，采用多模型（Llama、Qwen、Phi、SmolLM）进行验证。对比基线包括Vanilla SFT、持续预训练（CPT+SFT）、参数微调（LoRA、FAPM）等。评估指标涵盖领域问答准确率、通用能力（IFEval、MMLU、MSBench）。实验中调整不同的Inject目标比例，验证Align的问答映射效果，以及Recover的模型合并策略。采用不同的超参数设置，确保结果的稳健性。通过多轮模型合并和验证，筛选出最优的操作点。
结果分析
IAR在7个模型、8个数据配置中，平均提升领域问答准确率3.6%，通用指标12.1%。在CC数据集，IAR优于Vanilla SFT，Qwen-3-4B模型提升最大，达9个百分点。模型合并策略（如TIES）有效缓解能力退化，保持指令遵循能力。不同模型和数据集的实验显示，结构化知识注入和模型合并策略是提升无检索问答性能的关键因素。整体来看，IAR在保持通用能力的同时，显著增强了领域知识的表达和访问能力。
应用场景
该方法适用于需要在无检索条件下进行领域问答的场景，如企业内部知识库、隐私敏感环境、快速应答系统等。模型经过知识内化后，可直接部署，无需实时检索，提升响应速度和隐私保护。未来还可结合知识更新机制，实现模型的持续学习和动态知识维护，推动智能问答系统的自主知识掌握。
局限与展望
目前方法对模型计算资源要求较高，模型合并和多阶段训练增加了复杂度。极端知识更新场景下，模型的知识表达仍有限，存在知识过时或遗漏的风险。不同模型和数据集的适应性存在差异，部分合并策略效果不稳定，未来需优化算法和调参策略。
通俗解读 非专业人士也能看懂
想象你有一间厨房，平时用食谱做菜。以前，每次做新菜都得查书或网上找食谱，费时又不一定学到所有技巧。现在，你的厨艺老师告诉你一套特别的方法：第一步，把所有食谱都整理成一本手册（Inject），让你反复练习和理解；第二步，专门练习用这些食谱做菜（Align），确保你能用它们做出美味；第三步，把你的厨艺和老师的经验结合（Recover），让你既能用新食谱，又不失去原有的厨艺水平。这种方法让你在不用查资料的情况下，依然能做出好菜，还能保持厨艺的广泛性。
简单解释 像给14岁少年讲一样
想象你在学校学新技能，比如弹吉他。以前，你得每天看教程，反复练习，但有时候会忘记一些技巧。现在，假如有个神奇的老师，他会先帮你整理所有的技巧（Inject），让你多练习；然后，他会帮你用这些技巧答题（Align），确保你知道怎么用；最后，他会把你的练习和老师的经验结合起来（Recover），让你既能弹得快，又不会忘记基础。这种方法让你不用一直看教程，也能变成弹吉他的高手，既快又稳。
原文摘要
Large language models often fail to answer questions about a bounded document collection when the source documents are not retrieved at inference time. We study this setting as document knowledge internalization: converting a fixed corpus into usable parametric knowledge for retrieval-free question answering. We propose IAR (Inject, Align, and Recover), a three-stage post-training framework that separates structured document knowledge injection, QA behavior alignment, and general ability recovery. Unlike conventional continued pretraining, Inject converts source documents into continuation, rewrite, and instruction-conditioned reconstruction objectives. Align then adapts the injected model with answer-only QA supervision, while Recover merges the domain-adapted model with the base instruction model to recover general capabilities. Across Common Corpus (CC) and CCI, and across Llama, Phi, Qwen, and SmolLM model families, IAR improves the domain-primary domain-general frontier for retrieval-free document internalization. In the main comparison, IAR improves over Vanilla SFT on all four reported metrics in 7 of 8 dataset-model settings, with average gains of 3.6 percentage points in domain QA accuracy and 12.1 percentage points in mean general performance across IFEval, MMLU, and MSBench. Extended CC baselines show that LoRA and FAPM can win individual general metrics, but among methods that also reach leading or near-leading domain internalization, IAR retains one of the strongest general profiles.