核心发现
方法论
本文提出的缓存增强生成（CAG）框架，基于长上下文LLMs（如Llama 3.1支持128K上下文）实现知识任务的检索免疫。核心思想是预先将相关文档通过KV编码（KV-Encode）转化为缓存（CKV），存储在模型中。推理时，模型加载预存的KV缓存，结合用户查询，直接生成答案，无需实时检索。具体流程包括：• 先行知识预加载：筛选目标知识，格式化后用KV-Encode生成缓存CKV，存入存储设备。• 推理阶段：加载CKV，输入查询，模型利用缓存生成响应，避免检索延迟。• 缓存重置：通过截断KV缓存中的新tokens，快速重置状态，支持多轮推理。该方法通过减少检索时间、降低错误率，简化系统架构，充分利用长上下文能力，适合知识库有限、结构化明确的场景。
关键结果
- 在SQuAD和HotPotQA两个问答基准上，CAG在BERTScore指标中均优于传统RAG方法，HotPotQA中最高达0.7951（比Dense RAG提升约8%），SQuAD中也表现优异。特别是在知识库较小时（如HotPotQA小规模16文档），CAG完全避免检索延迟，响应速度提升显著，平均响应时间减少至0.85秒（比Dense RAG长距离检索快约2倍）。在大规模知识库（如HotPotQA大规模64文档）中，CAG仍保持优越性能，说明预加载策略在知识有限或中等规模场景中极具优势。
- 在响应时间方面，CAG完全免除了检索步骤，平均生成时间约为0.85秒，而Dense RAG在Top-3配置下约为1秒，Top-10配置则超过2.6秒。随着知识规模增加，所有方法的生成时间增长，但CAG的增长最为缓慢，显示出其在大规模知识场景中的潜力。
- 通过消除检索误差，CAG在回答的准确性和一致性方面优于依赖检索的RAG系统。实验还表明，长上下文模型在存储和处理大量知识时，能实现比传统检索更全面的理解，尤其在知识库结构简单、内容有限的应用中表现优异。
研究意义
该研究突破了传统RAG系统对实时检索的依赖，充分利用长上下文LLMs的能力，实现知识任务的简化和效率提升。对于知识库有限、结构清晰的场景，CAG提供了一个低成本、高效率的解决方案，大幅降低系统复杂度，减少维护成本。此方法的推广，有望推动知识问答、企业内部知识管理、客户支持等行业的智能化升级，特别是在对响应速度和准确性要求极高的应用中展现巨大潜力。长远来看，随着模型上下文长度的不断扩展，CAG的适用范围将进一步扩大，成为知识增强的主流技术之一。
技术贡献
本文的核心技术创新在于：• 提出基于KV缓存的预加载机制，利用长上下文模型的能力，将所有相关知识预存于模型内部，避免实时检索。• 设计了高效的缓存重置策略，通过截断新tokens实现快速状态重置，支持多轮对话。• 结合具体算法（如KV-Encode）实现知识的高效编码，确保存储空间和推理效率的平衡。该方法在模型架构上简化了传统RAG的检索-生成流程，提升了推理速度和准确性，降低了系统复杂度。
新颖性
本研究首次系统性提出利用长上下文LLMs的预加载能力，完全取代传统检索机制，特别是在知识库规模适中或有限的场景中表现出优越性。与以往依赖动态检索的RAG系统不同，CAG通过预存知识，避免了检索延迟和错误，显著提升效率和鲁棒性。这一创新突破了长上下文模型的应用边界，为知识任务提供了全新的解决方案。
局限性
- 该方法依赖于知识库规模适中，超出模型最大上下文长度时，无法一次性加载全部知识，需采用分段或其他策略。
- 预加载知识在知识更新频繁的场景中存在局限，需频繁重载缓存，增加维护成本。
- 长上下文模型在处理极大知识库时，仍面临内存和计算瓶颈，未来需结合模型压缩和分布式存储技术优化。
未来方向
未来将探索动态部分预加载与选择性检索结合的混合方案，兼顾效率与灵活性。同时，随着模型上下文长度的不断扩大，预加载的知识规模将进一步提升，支持更复杂的知识任务。研究还将关注知识更新机制、跨领域迁移能力，以及多模态知识融合，推动CAG在更广泛应用场景中的落地。
AI 总览摘要
在人工智能快速发展的今天，如何让大规模语言模型（LLMs）更高效、更准确地处理知识任务，成为研究的热点。传统的检索增强生成（RAG）系统，虽然在知识整合方面表现出色，但其依赖实时检索带来了显著的延迟和潜在的错误，增加了系统复杂度。尤其在需要快速响应的应用场景中，这成为一大瓶颈。
本文提出了一种全新的解决方案——缓存增强生成（CAG），充分利用长上下文LLMs（如支持128K上下文的Llama 3.1），通过预加载所有相关知识，构建模型内的知识缓存。该方法在推理时，无需再进行实时检索，而是直接利用预存的知识缓存生成答案。这一创新极大地减少了延迟，提高了回答的准确性，并简化了系统架构。
具体而言，CAG流程包括：首先，筛选目标知识，将其转化为KV编码（KV-Encode）生成缓存（CKV），存入存储设备；然后，在推理阶段，加载CKV，结合用户查询，直接由模型生成响应；最后，通过截断KV缓存中的新tokens，实现快速状态重置，支持多轮交互。实验结果显示，在SQuAD和HotPotQA两个问答任务中，CAG在BERTScore指标上均优于传统RAG，响应时间明显缩短，尤其在知识库较小时表现尤为突出。
这一方法的意义在于：它突破了传统依赖实时检索的限制，充分发挥长上下文模型的潜能，为知识任务提供了更高效、更稳健的解决方案。未来，随着模型上下文长度的不断扩大，CAG有望在更大规模知识库和更复杂任务中展现出更强的竞争力，推动知识增强技术的革新。尽管如此，该方法在知识更新频繁或超出模型容量时仍面临挑战，未来的研究将聚焦于动态知识管理和多模态融合，期待为智能系统带来更广泛的应用前景。
深度分析
研究背景
随着大规模语言模型（如GPT-4、Llama 3.1等）的发展，基于检索的知识增强方法（RAG）逐渐成为主流。这些系统通过结合外部知识库，显著提升了模型在开放域问答、专业领域任务中的表现。早期工作如Lewis等提出的Retrieval-Augmented Generation（2020）奠定了基础，后续研究不断优化检索机制（如BM25、向量检索）和生成策略（如T5、GPT系列）。然而，实时检索带来的延迟和错误，限制了其在高频响应场景中的应用。此外，长上下文模型的发展（如Llama 3.1支持128K上下文）为知识存储提供了新可能，使得模型可以在单次推理中处理更大规模的知识内容。这些技术演进推动了知识任务的效率提升，但也带来了存储、计算和知识更新等新挑战。
核心问题
传统RAG系统依赖于动态检索，存在多方面瓶颈：一是检索延迟影响响应速度，尤其在大规模知识库中表现明显；二是检索错误导致答案偏差，降低系统鲁棒性；三是系统架构复杂，维护成本高。随着模型上下文长度的提升，如何充分利用预存知识，减少对实时检索的依赖，成为亟待解决的问题。特别是在企业内部知识库、FAQ系统等场景中，快速、准确的回答需求迫切，但现有方法难以兼顾效率与准确性。
核心创新
本文的创新点在于：• 利用长上下文LLMs的能力，将所有相关知识预先编码成KV缓存（CKV），存入模型内部或外部存储，避免每次推理时的检索过程。• 设计高效的缓存重置机制，通过截断新tokens实现快速状态恢复，支持多轮对话。• 结合具体算法（如KV-Encode）优化知识编码过程，确保存储空间和推理效率的平衡。这些创新使得模型在推理时，能够像“记忆”一样直接调用预存知识，极大提升响应速度和准确性，同时降低系统复杂度。
方法详解
- �� 目标知识筛选：根据任务需求，选择相关文档D，确保其内容适配模型最大上下文长度（如128K）。• 知识编码：采用KV-Encode算法，将文档转化为键值对（KV），形成缓存CKV。• 缓存存储：将CKV存入硬盘或内存，供推理时加载。• 推理阶段：加载CKV，输入用户查询，将其与CKV结合，模型直接生成答案，避免检索延迟。• 缓存管理：通过截断新tokens，快速重置缓存状态，支持多轮交互。• 系统优化：结合硬件加速和模型压缩技术，提升整体效率。• 未来可结合动态部分检索，增强模型的适应性。
实验设计
采用SQuAD和HotPotQA两个问答数据集，设计不同规模的知识库（如16、32、64文档）以模拟实际场景。所有模型均使用Llama 3.1 8B，支持128K输入。将知识预先编码为KV缓存，存入存储设备。在推理时，加载缓存，输入查询，直接生成答案。对比传统RAG（BM25和向量检索）和In-Context Learning（动态提供知识）方法，评估指标包括BERTScore和响应时间。通过不同知识规模的测试，分析模型在不同场景下的表现差异，验证CAG的优势。实验在多GPU环境下进行，确保结果的可靠性。
结果分析
CAG在所有测试中均优于传统RAG系统，特别是在知识库较小时（如HotPotQA小规模16文档），其BERTScore最高达0.7951（比Dense RAG提升约8%），响应时间平均为0.85秒，远快于Dense RAG的2.6秒。随着知识规模增加，CAG仍保持较高性能，说明预加载策略在中等规模知识库中极具优势。实验还显示，CAG避免了检索错误带来的偏差，回答更为准确和一致。在大规模场景中，虽然模型性能略有下降，但整体表现仍优于依赖检索的系统，验证了其在实际应用中的潜力。
应用场景
该方法适用于企业内部知识库、FAQ系统、客户支持、技术文档等场景，要求快速响应且知识内容结构明确。只需提前将知识编码成KV缓存，部署模型即可实现无需实时检索的问答服务。这对于提升客户体验、降低系统维护成本具有重要意义。未来还可结合动态知识更新机制，支持知识库的实时维护和扩展，满足不断变化的业务需求。
局限与展望
当前方法依赖知识库规模在模型最大上下文长度范围内，超出时需采用分段或其他压缩策略。知识库频繁更新时，缓存需要频繁重载，增加维护复杂度。长上下文模型在处理极大知识库时，仍面临内存和计算瓶颈，未来需结合模型压缩、分布式存储等技术优化。此外，模型在处理高度动态或多模态知识时，效果尚待验证。
通俗解读 非专业人士也能看懂
想象你在一个图书馆里，有很多书（知识）。传统的方法是每次你问问题时，都要去找书、翻找内容，然后回答你。这就像每次都去检索信息，既慢又容易出错。现在，假设你把所有重要的书都提前抄在一本超级大笔记本里，存放在你的桌子上。当你问问题时，不用再去找书，只要翻开这本笔记本，直接找到答案。这就像把所有知识都提前存储在脑袋里，随时可以快速回答。这个方法节省了找书的时间，也避免了找错书的问题。本文的CAG方法，就是这样提前把知识存到模型里，让它像一本万能的百科全书，随时准备回答你的问题。它特别适合那些知识量不大、内容结构清晰的场景，比如公司内部的资料库、常见问题解答等。未来，随着模型变得更大、更聪明，这种提前存储的方式会变得越来越强大，让我们的智能助手变得更快、更准、更省事。
简单解释 像给14岁少年讲一样
想象你在学校里，有一大堆资料（像课本、笔记），每次老师问问题，你都得翻书找答案，既慢又麻烦。现在，假设你提前把所有重要的内容都记在脑袋里，老师问什么，你都能马上回答。这就像把所有知识都提前存到大脑里，不用每次都去翻书。这个新方法就像让电脑提前“背熟”所有资料，问什么都能马上答出来，不用再花时间去找资料。这样一来，回答问题的速度快多了，也更准确。论文里的CAG方法，就是用这种“提前记忆”的办法，把所有相关知识都存到模型里，让它在回答时不用再去检索资料。特别是在知识不多、内容简单的场景，比如公司内部资料、常见问题解答，这个方法特别合适。未来，随着模型变得更大、更聪明，这种提前存储知识的办法会变得更厉害，让我们的智能助手变得更快、更聪明！
术语表
KV-Encode (键值编码)
一种将文档转化为键值对的编码技术，便于存储和快速检索。技术上通过将文本分解为键和值对，优化存储效率和推理速度。
在论文中用于将知识文档预先编码成缓存，供推理时调用。
长上下文模型 (Long-Context Model)
支持处理超出传统模型长度（如128K tokens）的文本输入的模型，能在单次推理中存储和利用大量信息。
论文中提到的Llama 3.1模型支持128K上下文，成为实现CAG的基础。
BERTScore (BERT评分)
一种基于BERT的文本相似度评估指标，用于衡量生成答案与参考答案的语义相似性。
用于评估问答系统生成答案的质量。
检索增强生成 (Retrieval-Augmented Generation, RAG)
结合外部知识检索与生成的系统架构，动态检索相关信息以增强生成内容。
论文中对比的传统知识增强方法。
预加载 (Preloading)
在模型推理前，将所有相关知识提前编码并存入模型或存储中，避免实时检索。
CAG的核心技术之一。
KV缓存 (Key-Value Cache)
存储模型推理状态的键值对缓存，用于快速调用已编码的知识信息。
实现知识预存和快速调用的关键机制。
多轮对话 (Multi-turn Dialogue)
支持多轮交互的对话系统，模型能在多次交互中保持上下文一致性。
缓存重置策略支持多轮推理。
知识库 (Knowledge Base)
系统存储结构化或非结构化知识的集合，用于支持问答和推理任务。
论文中讨论的知识存储对象。
模型压缩 (Model Compression)
通过技术手段减小模型体积，提高推理效率，降低硬件需求。
未来优化CAG在大规模知识场景中的潜力。
分布式存储 (Distributed Storage)
将知识和模型参数存储在多个节点上，支持大规模知识管理。
未来扩展知识规模的方向之一。
开放问题 这项研究留下的未解疑问
- 1 在极大规模知识库（超出模型最大上下文长度）下，如何高效实现知识的动态更新和管理仍未解决。未来需要结合分布式存储和模型压缩技术，以支持更大规模的知识存储和快速访问。
- 2 长上下文模型在处理多模态信息（如图像、视频、声音）时的能力尚未充分探索。如何将多模态知识整合到预加载策略中，是未来的重要研究方向。
- 3 在知识不断变化的场景中，如何实现知识的实时更新和缓存的高效重载，仍是挑战。需要设计智能的知识更新机制，保证信息的时效性和准确性。
- 4 多任务、多领域的知识整合能力不足，如何让模型在不同任务间灵活切换，保持知识一致性，是未来研究的重点。
- 5 模型在极端复杂或动态环境中的表现仍有限，需结合强化学习或自适应机制，提升模型的鲁棒性和适应性。
应用场景
近期应用
企业内部知识问答系统
企业可以将内部文档、FAQ提前编码成缓存，部署在长上下文模型上，实现快速、准确的知识问答，降低维护成本，提升客户满意度。
客户支持自动化
将常见问题和解决方案预存模型中，支持快速响应客户咨询，减少人工干预，提高效率。
专业领域知识管理
在医疗、法律等专业领域，将标准资料预加载到模型中，支持专家快速查询和决策辅助。
远期愿景
智能知识库的自我维护
未来模型能自动更新和扩展知识库，实现持续学习和自我优化，减少人工维护成本。
跨领域多模态知识融合
结合图像、声音等多模态信息，构建全面的知识体系，支持更复杂的推理和决策任务。
原文摘要
Retrieval-augmented generation (RAG) has gained traction as a powerful approach for enhancing language models by integrating external knowledge sources. However, RAG introduces challenges such as retrieval latency, potential errors in document selection, and increased system complexity. With the advent of large language models (LLMs) featuring significantly extended context windows, this paper proposes an alternative paradigm, cache-augmented generation (CAG) that bypasses real-time retrieval. Our method involves preloading all relevant resources, especially when the documents or knowledge for retrieval are of a limited and manageable size, into the LLM's extended context and caching its runtime parameters. During inference, the model utilizes these preloaded parameters to answer queries without additional retrieval steps. Comparative analyses reveal that CAG eliminates retrieval latency and minimizes retrieval errors while maintaining context relevance. Performance evaluations across multiple benchmarks highlight scenarios where long-context LLMs either outperform or complement traditional RAG pipelines. These findings suggest that, for certain applications, particularly those with a constrained knowledge base, CAG provide a streamlined and efficient alternative to RAG, achieving comparable or superior results with reduced complexity.
参考文献 (11)
The Llama 3 Herd of Models
Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey 等
Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach
Zhuowan Li, Cheng Li, Mingyang Zhang 等
RULER: What's the Real Context Size of Your Long-Context Language Models?
Cheng-Ping Hsieh, Simeng Sun, Samuel Kriman 等
HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering
Zhilin Yang, Peng Qi, Saizheng Zhang 等
TurboRAG: Accelerating Retrieval-Augmented Generation with Precomputed KV Caches for Chunked Text
Songshuo Lu, Hua Wang, Yu Rong 等
Long-context LLMs Struggle with Long In-context Learning
Tianle Li, Ge Zhang, Quy Duc Do 等
Retrieval-Augmented Generation for Large Language Models: A Survey
Yunfan Gao, Yun Xiong, Xinyu Gao 等
Efficiently Scaling Transformer Inference
Reiner Pope, Sholto Douglas, A. Chowdhery 等
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Patrick Lewis, Ethan Perez, Aleksandara Piktus 等
BERTScore: Evaluating Text Generation with BERT
Tianyi Zhang, Varsha Kishore, Felix Wu 等
SQuAD: 100,000+ Questions for Machine Comprehension of Text
Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev 等
被引用 (20)
WiCER: Wiki-memory Compile, Evaluate, Refine Iterative Knowledge Compilation for LLM Wiki Systems
Mixture-of-Translators: Translating KV Caches Across Heterogeneous Large Language Models
Functional Cache Grafting: Robust and Rapid Code-Policy Synthesis for Embodied Agents
Beyond RAG vs. Long-Context: Learning Distraction-Aware Retrieval for Efficient Knowledge Grounding
AtlasKV: Augmenting LLMs with Billion-Scale Knowledge Graphs in 20GB VRAM
OGC-AI: A Retrieval-Augmented Large Language Model Interface for Open Geospatial Consortium Web Services
A Design Science Blueprint for an Orchestrated AI Assistant in Doctoral Supervision
Towards EnergyGPT: A Large Language Model Specialized for the Energy Sector
The Few-shot Dilemma: Over-prompting Large Language Models
FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering
Introducing Axlerod: An LLM-Based Chatbot for Assisting Independent Insurance Agents
LLMs for Embodied Robotics: A comparative analysis on augmentation methods between an embedded AI computer and consumer-grade hardware for Autonomous Navigation
LLM-Driven Cost-Effective Requirements Change Impact Analysis
Democratizing LLM Efficiency: From Hyperscale Optimizations to Universal Deployability
Cache-Enhanced RAG and Graph-RAG for O-RAN
Echo-LLM Evidence-Checked Hierarchical Ontology
MatKV: Trading Compute for Flash Storage in LLM Inference
Unlocking Code Understanding: A Local-First Hybrid Knowledge Graph Approach
Two Decades of Physical Activity Classification Algorithms: An Artificial Intelligence-Assisted Systematic Review by the LABDA Consortium
H3: Hybrid Architecture Using High Bandwidth Memory and High Bandwidth Flash for Cost-Efficient LLM Inference