核心发现
方法论
本文提出的RQ-RAG框架结合了基于控制标记的查询重写、拆解与消歧机制，通过端到端训练提升模型对复杂与歧义查询的处理能力。利用ChatGPT辅助自动构建多场景数据集，采用多策略（困惑度、置信度、集成）进行轨迹筛选，显著增强模型的检索与生成能力。具体算法包括基于自回归的训练目标（公式2），以及多策略采样（困惑度最小、置信度最高、集成）优化最终回答。实验在单跳（Arc-Challenge、PopQA、OpenbookQA）和多跳（HotpotQA、2WikiMultiHop、Musique）问答任务中，均优于对比模型，尤其在复杂、多跳场景中表现优异。
关键结果
- 在三项单跳QA数据集上，应用7B Llama2模型，RQ-RAG平均超越SOTA 1.9%，在多跳任务中提升22.6%。在检索增强设置中，超越无检索模型33.5%，优于自监督训练的Self-RAG20.3%。在多场景数据中，轨迹筛选策略（置信度、集成）达成最高成功率，最高达84.0%。
- 通过自动化数据构建流程，利用ChatGPT生成多场景、多轮对话的查询重写、拆解与消歧，极大丰富训练样本，提升模型泛化能力。多策略采样显著改善答案准确率，尤其在多跳任务中，模型能自主多次检索与重构答案。
- 在不同数据源（DuckDuckGo、Wikipedia、Bing）上测试，模型表现稳定，表明系统对数据源变化具有良好鲁棒性。模型在上限分析中，成功轨迹比例高达76.8%，显示潜在提升空间巨大。
研究意义
该研究突破了传统检索增强生成的局限，通过学习查询重写与拆解，有效缓解问答中的歧义与复杂性问题，为大规模语言模型在知识更新与复杂推理中的应用提供新思路。模型在多场景、多任务中的优异表现，推动了问答系统的智能化与实用化，具有广泛的产业应用潜力。其创新方法也为未来多模态、多任务学习提供了理论基础与实践路径，具有深远影响。
技术贡献
技术创新主要体现在：1）引入基于控制标记的端到端训练机制，实现查询的动态重写、拆解与消歧；2）利用ChatGPT自动生成多场景训练数据，提升模型多任务适应性；3）提出多策略轨迹筛选方法，显著增强模型的检索与生成质量。与传统SOTA方法（如Self-RAG、SAIL）相比，本文在模型规模、数据构建与轨迹优化方面实现突破，为检索增强生成提供新范式。
新颖性
本研究首次系统性引入学习式查询重写机制，结合多策略轨迹筛选，显著提升大模型在复杂问答中的表现。不同于以往仅优化检索或生成单一环节的方法，本文实现了查询的主动优化，增强了模型的推理与知识整合能力，填补了多跳问答中对复杂查询处理的空白。
局限性
- 当前模型依赖大量自动生成数据，存在噪声与偏差，可能影响泛化效果。训练成本较高，模型复杂度增加，实际部署时需考虑效率优化。
- 轨迹筛选策略虽有效，但仍存在误选最优路径的风险，未来需引入更智能的轨迹评估机制。
- 多场景数据构建依赖ChatGPT，可能受限于其知识截止时间，未来需结合实时信息源以增强时效性。
未来方向
未来将探索更高效的轨迹筛选与评估机制，结合多模态信息（如图像、视频）扩展问答能力，提升模型对多源、多模态信息的理解与整合。同时，优化模型结构以降低计算成本，实现实时应用。此外，将引入强化学习策略，动态调整查询重写策略，进一步提升系统的智能化水平。
AI 总览摘要
随着大规模语言模型（LLMs）在自然语言处理中的广泛应用，其在知识更新与推理能力方面仍面临挑战。传统模型依赖静态预训练数据，难以应对不断变化的知识环境，导致生成内容可能出现“幻觉”或信息滞后。检索增强生成（RAG）技术通过引入外部知识库，有效缓解了这一问题，但在处理复杂、多义或多跳查询时仍存在不足。本文提出的RQ-RAG框架，创新性地引入了学习式查询重写机制，结合多策略轨迹筛选，显著提升模型在单跳与多跳问答任务中的表现。
通过端到端训练，模型学会根据不同场景主动重写、拆解或消歧查询，提升检索的相关性与答案的准确性。实验在多个公开问答数据集上验证了其优越性，平均超越SOTA 1.9%，多跳任务提升22.6%。此外，利用ChatGPT自动生成多场景、多轮对话数据，增强模型的泛化能力。模型在不同数据源（如Bing、Wikipedia）上表现稳定，显示出良好的鲁棒性。
该研究不仅推动了检索增强生成技术的发展，也为未来多模态、多任务系统提供了理论基础。尽管存在数据噪声和计算成本等挑战，未来的工作将聚焦于轨迹筛选优化、实时信息融合与多模态扩展，推动问答系统向更智能、更实用的方向发展。
深度分析
研究背景
近年来，随着GPT-3、BERT等模型的出现，LLMs在理解与生成任务中取得突破，但其知识静态、更新缓慢的问题日益凸显。检索增强生成（RAG）技术应运而生，通过引入外部知识库，提升模型的知识覆盖与更新速度。早期工作如Karpukhin等提出的Dense Retriever，显著优于传统BM25检索方法。随后，Self-RAG、SAIL等模型结合检索与生成，提升了多任务适应性。尽管如此，面对复杂、多义、多跳问题，现有方法多依赖静态检索策略，难以动态应对查询歧义与复杂结构，限制了其在实际应用中的效果。
核心问题
当前的检索增强模型在处理复杂、多义或多跳问答时，存在检索不准确、查询歧义未能有效消解的问题。传统方法多采用原始查询直接检索，忽略了查询的潜在歧义与结构复杂性，导致检索结果偏离用户意图，影响答案的准确性。此外，模型缺乏主动优化查询的能力，难以在多轮交互中逐步精炼信息，限制了其推理深度。如何让模型自主学习重写、拆解与消歧查询，成为提升问答性能的关键。
核心创新
本文的核心创新包括：1）引入基于控制标记的端到端训练机制，使模型能自主选择重写、拆解或消歧查询，提升多场景适应性；2）利用ChatGPT自动生成多场景、多轮对话数据，丰富训练样本，增强模型泛化能力；3）提出多策略轨迹筛选方法（困惑度、置信度、集成），有效提升答案准确率。这些创新突破了以往只优化单一检索或生成环节的局限，实现了查询的主动优化与动态调整，为复杂问答提供了新思路。
方法详解
- �� 数据集构建：采集多场景（多轮对话、拆解、歧义）任务，利用ChatGPT自动生成重写、拆解、消歧查询及对应答案。
- �� 训练目标：采用自回归模型（公式2），端到端学习查询重写、拆解与答案生成。
- �� 查询策略：利用控制标记引导模型选择不同路径（重写、拆解、消歧、终止），实现多轨迹生成。
- �� 轨迹筛选：基于困惑度、置信度及集成策略筛选最优路径，提升答案质量。
- �� 训练流程：结合自动生成的数据，进行多轮训练，优化模型对复杂查询的处理能力。
实验设计
在单跳（Arc-Challenge、PopQA、OpenbookQA）和多跳（HotpotQA、2WikiMultiHop、Musique）问答任务上，采用公开数据集，比较无检索、检索增强、以及本文提出的RQ-RAG模型。指标包括准确率、F1值，超参数设置遵循原始论文，进行多轮消融验证。模型训练采用Adam优化器，批次大小为32，训练时间约为48小时。通过多策略筛选，显著提升多场景问答的性能。
结果分析
在三项单跳问答中，RQ-RAG平均超越SOTA 1.9%，在多跳任务中提升22.6%。在检索增强设置中，超越无检索模型33.5%，优于自监督的Self-RAG 20.3%。多策略筛选达成最高84.0%的成功轨迹比例。模型在不同数据源（Bing、Wikipedia）表现稳定，成功轨迹比例最高达76.8%，显示出强大的鲁棒性与潜力。
应用场景
该技术可广泛应用于企业客服、智能问答、知识库检索等场景，提升系统对复杂、多义问题的理解与回答能力。未来结合多模态信息（图像、视频）将拓展其应用范围，推动智能助理、自动问答的产业升级。
局限与展望
模型依赖大量自动生成数据，存在噪声与偏差，训练成本较高。轨迹筛选策略仍有误判风险，未来需引入更智能的评估机制。多场景数据由ChatGPT生成，可能受限于其知识截止时间，影响时效性。未来应结合实时信息源，优化模型效率与准确性。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，面对一道复杂菜谱，单纯按照原始食谱操作，可能会出现味道不佳或步骤繁琐。现在，如果你能提前准备好不同的调料和步骤，甚至根据味道调整配料，做菜就会变得更简单、更好吃。这就像这篇论文里的模型，它学会了根据不同的情况，主动调整“菜谱”——也就是查询内容——以获得更准确的答案。模型会像厨师一样，先理解问题的复杂性，然后拆解成更简单的部分，或者用不同的方式表达，确保每一步都精准无误。这样，不管问题多复杂，模型都能灵活应对，做出满意的“菜肴”。
简单解释 像给14岁少年讲一样
想象你在学校里问老师一个很难的问题，比如“为什么天是蓝色的？”如果老师只用一句话回答，可能会不够详细。可是如果老师能先问你一些问题，弄清楚你具体想知道的内容，再用更合适的方式回答，那答案就会更清楚、更贴合你的需要。这篇论文的模型就像那个聪明的老师，它学会了在回答问题前，先“重写”问题，把复杂的问题拆成更简单的部分，或者用不同的表达方式，确保理解清楚。它还会根据不同情况，选择不同的“回答策略”，让答案更准确、更完整。这样，无论问题多复杂，模型都能像老师一样，给出最合适的答案，帮助我们更好地理解世界。
原文摘要
Large Language Models (LLMs) exhibit remarkable capabilities but are prone to generating inaccurate or hallucinatory responses. This limitation stems from their reliance on vast pretraining datasets, making them susceptible to errors in unseen scenarios. To tackle these challenges, Retrieval-Augmented Generation (RAG) addresses this by incorporating external, relevant documents into the response generation process, thus leveraging non-parametric knowledge alongside LLMs' in-context learning abilities. However, existing RAG implementations primarily focus on initial input for context retrieval, overlooking the nuances of ambiguous or complex queries that necessitate further clarification or decomposition for accurate responses. To this end, we propose learning to Refine Query for Retrieval Augmented Generation (RQ-RAG) in this paper, endeavoring to enhance the model by equipping it with capabilities for explicit rewriting, decomposition, and disambiguation. Our experimental results indicate that our method, when applied to a 7B Llama2 model, surpasses the previous state-of-the-art (SOTA) by an average of 1.9\% across three single-hop QA datasets, and also demonstrates enhanced performance in handling complex, multi-hop QA datasets. Our code is available at https://github.com/chanchimin/RQ-RAG.