A-MapReduce: Executing Wide Search via Agentic MapReduce

TL;DR

A-MapReduce通过类MapReduce框架优化宽搜索任务,Item F1提升5.11%-17.50%。

cs.MA 🔴 高级 2026-02-02 35 次浏览
Mingju Chen Guibin Zhang Heng Chang Yuchen Guo Shiji Zhou
宽搜索 多智能体系统 MapReduce 大语言模型 高效计算

核心发现

方法论

A-MapReduce将宽搜索任务重新定义为水平结构的检索问题,采用类MapReduce框架,通过任务分解、并行执行和结果聚合实现高效检索。引入经验记忆机制,逐步优化任务分配策略。

关键结果

  • 在WideSearch基准上,A-MapReduce的Item F1平均提升12.71%,Row F1提升13.02%,成功率提高4.23%。
  • 在DeepWideSearch上,核心实体准确率提升3.52%-19.09%,Column F1提升9.71%-30.18%。
  • 运行时间比多智能体基线减少45.8%,每任务平均节省$1.10。

研究意义

该研究显著提升了宽搜索任务的效率和精度,解决了现有多智能体系统在长时间执行和大规模检索中的瓶颈问题,为学术界和工业界提供了新的高效框架。

技术贡献

提出了类MapReduce的多智能体执行框架,首次将宽搜索建模为水平结构检索问题,并通过经验记忆实现跨任务优化。这种方法为大规模检索任务提供了新的理论和工程实践可能性。

新颖性

A-MapReduce首次将MapReduce范式引入多智能体系统,显著区别于传统的垂直递归推理框架,提供了水平分布式检索的新视角。

局限性

  • 在极端大规模任务中,经验记忆的存储和检索可能导致额外开销。
  • 框架依赖于高性能LLM,可能对计算资源要求较高。
  • 在任务分解策略中,复杂查询的适配性仍需进一步验证。

未来方向

未来可探索更高效的记忆压缩方法、适配更多类型的宽搜索任务,以及在低资源环境中的应用优化。

AI 总览摘要

现有多智能体系统在处理宽搜索任务时效率低下,主要由于其基于垂直递归推理的设计不适合大规模水平检索。A-MapReduce通过借鉴MapReduce范式,将宽搜索重新定义为水平结构的检索问题,采用任务分解、并行执行和结果聚合的方式优化检索效率。

该框架引入了经验记忆机制,能够从历史任务中提取执行模式并逐步优化任务分配策略,从而实现跨任务的持续改进。在WideSearch和DeepWideSearch基准测试中,A-MapReduce表现优异,Item F1提升最高达17.50%,运行时间减少45.8%。

尽管在存储开销和复杂查询适配性上存在一定局限,该框架为宽搜索任务提供了全新视角,具有广泛的学术和工业应用潜力。未来研究可进一步优化记忆机制并扩展其适用范围。

深度分析

研究背景

多智能体系统近年来在数学推理、信息检索和代码生成等领域表现出色。然而,这些系统主要基于垂直递归推理,适用于深度搜索任务,而在宽搜索任务中效率低下。

核心问题

宽搜索任务需要在大规模目标集合中进行水平检索和聚合,现有系统在目标管理和执行效率上存在瓶颈,难以满足大规模检索需求。

核心创新

A-MapReduce通过类MapReduce框架,将宽搜索建模为水平结构检索问题。其核心创新包括任务分解与并行执行、结果聚合,以及基于经验记忆的任务优化。

方法详解

  • �� 任务分解:将检索任务分解为多个原子任务。
  • �� 并行执行:通过多智能体并行完成任务。
  • �� 结果聚合:将部分结果合并为统一输出。
  • �� 经验记忆:记录历史任务模式,优化未来任务分配。

实验设计

实验在WideSearch和DeepWideSearch基准上进行,比较了多种基线方法。评估指标包括Item F1、Row F1和运行时间。

结果分析

A-MapReduce在WideSearch上Item F1提升12.71%,在DeepWideSearch上核心实体准确率提升19.09%。运行时间减少45.8%。

应用场景

适用于大规模信息检索、知识图谱构建和数据挖掘等场景,特别是在需要高效水平检索的任务中。

局限与展望

存储开销较高,复杂查询适配性有限,依赖高性能LLM。

通俗解读 非专业人士也能看懂

可以将A-MapReduce想象成一个高效的“任务工厂”。每个宽搜索任务就像一个大订单,工厂会将订单分解成小任务,分配给不同的工人(智能体)并行完成。完成后,工厂再将所有小任务的结果汇总成最终产品。通过经验记忆,工厂还能不断优化生产流程,提高效率。

简单解释 像给14岁少年讲一样

想象你在玩一个收集任务的游戏。任务是找到所有隐藏的宝藏,但地图很大!A-MapReduce就像一个聪明的队长,把地图分成小块,每个队员负责一块。完成后,队长把所有宝藏位置汇总。更酷的是,队长会记住哪些方法最有效,下次任务更快!

术语表

MapReduce

一种分布式计算框架,将任务分解为映射和归约两部分。

用于A-MapReduce的核心框架设计。

宽搜索 (Wide Search)

一种强调大规模水平检索的任务。

A-MapReduce的主要应用场景。

经验记忆 (Experiential Memory)

记录历史任务执行模式的存储机制。

用于优化任务分配和执行策略。

Item F1

衡量检索结果精度的指标,结合精确率和召回率。

实验中用于评估模型性能。

并行执行 (Parallel Execution)

同时执行多个任务以提高效率。

A-MapReduce的关键特性。

开放问题 这项研究留下的未解疑问

  • 1 如何进一步减少经验记忆的存储开销?
  • 2 在低资源环境中如何优化框架性能?

应用场景

近期应用

知识图谱构建

通过高效检索和聚合,快速构建大规模知识图谱。

数据挖掘

在大数据集中进行高效的信息提取和分析。

远期愿景

通用智能搜索引擎

开发能够处理复杂宽搜索任务的下一代智能搜索系统。

原文摘要

Contemporary large language model (LLM)-based multi-agent systems exhibit systematic advantages in deep research tasks, which emphasize iterative, vertically structured information seeking. However, when confronted with wide search tasks characterized by large-scale, breadth-oriented retrieval, existing agentic frameworks, primarily designed around sequential, vertically structured reasoning, remain stuck in expansive search objectives and inefficient long-horizon execution. To bridge this gap, we propose A-MapReduce, a MapReduce paradigm-inspired multi-agent execution framework that recasts wide search as a horizontally structured retrieval problem. Concretely, A-MapReduce implements parallel processing of massive retrieval targets through task-adaptive decomposition and structured result aggregation. Meanwhile, it leverages experiential memory to drive the continual evolution of query-conditioned task allocation and recomposition, enabling progressive improvement in large-scale wide-search regimes. Extensive experiments on five agentic benchmarks demonstrate that A-MapReduce is (i) high-performing, achieving state-of-the-art performance on WideSearch and DeepWideSearch, and delivering 5.11% - 17.50% average Item F1 improvements compared with strong baselines with OpenAI o3 or Gemini 2.5 Pro backbones; (ii) cost-effective and efficient, delivering superior cost-performance trade-offs and reducing running time by 45.8\% compared to representative multi-agent baselines. The code is available at https://github.com/mingju-c/AMapReduce.

cs.MA cs.CL