Beyond Similarity through Zero-Token Geometric Graphs for Multi-Hop RAG

TL;DR

G3RAG通过几何增益图实现零令牌构建,提升多跳RAG性能,F1提高4.26分。

cs.IR 🔴 高级 2026-09-17 12 次浏览
Zeliang Li Xiaofen Xing Kailing Guo Xiangmin Xu
多跳RAG 几何图 零令牌 信息增益 图构建

核心发现

方法论

G3RAG采用几何增益图构建,利用文档表示的方向一致性和正交性来定义边权重。通过密度感知的拓扑惩罚抑制高连接枢纽,并通过单步控制扩散从过滤后的查询种子扩展到互补证据。

关键结果

  • G3RAG在MusiQue数据集上F1得分提高5.76分,平均性能提高4.26分,展示了其在多跳RAG中的优越性。
  • 在2WikiMultiHopQA和HotpotQA数据集上,G3RAG在Nv-embed-v2和Qwen3-8B-embed嵌入设置中均表现最佳。
  • G3RAG消除了实体图方法的图构建令牌成本,显著提升了效率。

研究意义

G3RAG通过几何结构支持高效的多跳证据发现,无需基于LLM的图构建,解决了传统方法中存在的高成本和噪声传播问题。其创新的图构建方法为多跳RAG提供了新的思路,具有重要的学术和工业意义。

技术贡献

G3RAG在技术上通过几何增益图实现了零令牌构建,与现有SOTA方法相比,提供了新的理论保证和工程可能性。其几何增益评分机制和拓扑惩罚策略为多跳RAG提供了更高效的证据检索能力。

新颖性

G3RAG首次在多跳RAG中引入几何增益图,避免了LLM调用和生成令牌的成本。与基于实体的图方法相比,其在构建效率和性能上均有显著提升。

局限性

  • 在处理极复杂的查询时,可能仍会受到相似性陷阱的影响,导致连接到局部同质化的冗余文档。
  • 需要进一步优化拓扑惩罚参数以适应不同数据集的特性。

未来方向

未来工作可以探索G3RAG在其他任务中的应用,如信息检索和问答系统,并优化其在不同数据集上的参数设置,以进一步提升性能。

AI 总览摘要

多跳检索增强生成(RAG)需要在保持查询相关性的同时引入足够的新颖性,以弥合语义差距。传统的密集检索方法往往集中于语义相似的文档,而基于图的替代方案则依赖于昂贵的大型语言模型(LLM)实体提取,并可能通过噪声连接传播。我们引入了几何增益图RAG(G3RAG),这是一种仅文档的框架,其离线图构建无需LLM调用或生成令牌。G3RAG为每条边分配一个几何增益评分,结合文档表示之间的方向一致性和正交性。密度感知的拓扑惩罚抑制高连接枢纽,而单步控制扩散从过滤后的查询种子扩展到互补证据。我们在MusiQue、2WikiMultiHopQA和HotpotQA上使用Nv-embed-v2和Qwen3-8B-embed评估G3RAG。G3RAG在两种嵌入设置中获得了最佳的平均F1和答案文档命中率,与评估的基于图的基线相比,平均性能提高了4.26分,在MusiQue上提高了5.76分。它还消除了实体图方法带来的图构建令牌成本。这些结果表明,几何结构可以支持高效的多跳证据发现,而无需基于LLM的图构建。代码可在https://anonymous.4open.science/r/G3RAG-99D9/获得。

深度分析

研究背景

多跳检索增强生成(RAG)是现代生成式AI的核心范式之一,旨在通过外部知识缓解LLM的幻觉。然而,传统的密集检索方法在处理多跳查询场景时,往往陷入“相似性陷阱”,即过于依赖表面语义匹配,导致检索到的文档高度同质化,阻碍了新颖、关键支持证据的获取。

核心问题

多跳RAG面临的核心问题是如何在保持查询相关性的同时引入足够的新颖性,以弥合语义差距。传统方法往往依赖于昂贵的LLM实体提取,并可能通过噪声连接传播,导致高成本和性能提升有限。

核心创新

G3RAG的核心创新在于引入了几何增益图,通过文档表示的方向一致性和正交性来定义边权重,从而实现零令牌构建。这种方法避免了LLM调用和生成令牌的成本,同时通过密度感知的拓扑惩罚抑制高连接枢纽。

方法详解

  • �� G3RAG通过几何增益图构建,利用文档表示的方向一致性和正交性来定义边权重。
  • �� 密度感知的拓扑惩罚抑制高连接枢纽。
  • �� 单步控制扩散从过滤后的查询种子扩展到互补证据。

实验设计

我们在MusiQue、2WikiMultiHopQA和HotpotQA上使用Nv-embed-v2和Qwen3-8B-embed评估G3RAG。实验设计包括对比基线方法、不同嵌入模型的性能评估以及消融研究。

结果分析

G3RAG在MusiQue数据集上F1得分提高5.76分,平均性能提高4.26分,展示了其在多跳RAG中的优越性。与基线方法相比,G3RAG在所有数据集上均表现出色。

应用场景

G3RAG可用于多跳问答系统、信息检索等场景,特别是在需要高效证据发现的复杂任务中具有显著优势。

局限与展望

G3RAG在处理极复杂的查询时,可能仍会受到相似性陷阱的影响。未来工作可以探索其在其他任务中的应用,并优化其在不同数据集上的参数设置。

通俗解读 非专业人士也能看懂

想象你在一个图书馆寻找一本书。传统的方法就像只看书名来找书,结果找到的书都很相似。G3RAG的方法就像根据书的内容和主题来找书,这样可以找到更多不同但相关的书。通过这种方法,G3RAG可以在不增加额外成本的情况下,找到更多有用的信息。

简单解释 像给14岁少年讲一样

想象你在玩一个寻宝游戏。传统的方法就像只根据地图上的标记找宝藏,结果找到的宝藏都差不多。G3RAG的方法就像根据地图的地形和线索来找宝藏,这样可以找到更多不同但有趣的宝藏。通过这种方法,G3RAG可以在不花更多时间的情况下,找到更多有趣的宝藏。

术语表

Geometric Gain (几何增益)

一种通过文档表示的方向一致性和正交性来定义边权重的方法。

用于G3RAG的图构建中,以平衡相关性和新颖性。

Zero-Token (零令牌)

一种不需要调用LLM或生成令牌的图构建方法。

G3RAG通过几何增益实现零令牌构建。

Density-Aware Topological Penalty (密度感知拓扑惩罚)

一种抑制高连接枢纽的策略,以保持图的多样性。

用于G3RAG的图构建中,以避免相似性陷阱。

Controlled Diffusion (控制扩散)

一种从过滤后的查询种子扩展到互补证据的扩散方法。

用于G3RAG的证据检索中,以提高效率。

Multi-Hop RAG (多跳RAG)

一种通过多跳检索增强生成的AI方法。

G3RAG旨在提高多跳RAG的性能。

开放问题 这项研究留下的未解疑问

  • 1 如何在不同数据集上优化G3RAG的拓扑惩罚参数,以提高性能。
  • 2 探索G3RAG在其他任务中的应用,如信息检索和问答系统。

应用场景

近期应用

多跳问答系统

G3RAG可用于提高多跳问答系统的性能,特别是在需要高效证据发现的复杂任务中。

远期愿景

信息检索

G3RAG可用于信息检索,特别是在需要高效证据发现的复杂任务中。

原文摘要

Multi-hop retrieval-augmented generation (RAG) requires evidence that remains relevant to a query while introducing enough novelty to bridge semantic gaps. Dense retrieval tends to concentrate on semantically similar documents, whereas graph-based alternatives often depend on costly Large Language Model (LLM) entity extraction and may propagate through noisy connections. We introduce Geometric Gain Graph RAG (G$^3$RAG), a document-only framework whose offline graph construction uses no LLM calls or generated tokens. G$^3$RAG assigns each edge a geometric gain score, $\cosθ\cdot \sinθ$, that jointly captures directional consistency and orthogonality between document representations. A density-aware topological penalty suppresses highly connected hubs, while single-step controlled diffusion expands from filtered query seeds toward complementary evidence. We evaluate G$^3$RAG on MusiQue, 2WikiMultiHopQA, and HotpotQA using Nv-embed-v2 and Qwen3-8B-embed. G$^3$RAG obtains the best average F1 and answer-document hit rate among the evaluated graph-based baselines in both embedding settings, with gains of up to 4.26 F1 points in average performance and 5.76 points on MusiQue. It also removes the graph-construction token cost incurred by entity-based graph methods. These results show that geometric structure can support efficient multi-hop evidence discovery without LLM-based graph construction. Code is available at https://anonymous.4open.science/r/G3RAG-99D9/

cs.IR