核心发现
方法论
MuDABench采用多代理工作流，包括规划、提取、代码生成模块。每个模块负责不同的任务，如规划子查询、单文档信息提取、结果规范化为JSON格式，并通过代码分析进行最终答案合成。
关键结果
- 实验表明，传统RAG系统在大规模文档集上表现不佳，而多代理工作流显著提高了最终答案准确率，达到人类专家水平的80%。
- 在332个分析问答实例中，使用MuDABench的系统比标准RAG提高了约20%的准确率。
- 消融实验表明，单文档信息提取的准确性是整体性能的主要瓶颈。
研究意义
MuDABench在学术界和工业界具有重要意义，解决了跨文档信息聚合的长期难题，尤其在金融领域的监管和分析中提供了新的工具。
技术贡献
技术贡献包括提出了新的多代理工作流，显著提高了跨文档信息提取和聚合的效率，并提供了新的工程可能性，如自动化金融报告分析。
新颖性
MuDABench首次实现了大规模文档集的分析问答，突破了现有系统在跨文档推理上的局限，提供了新的评估协议。
局限性
- 单文档信息提取的准确性仍然是主要瓶颈，影响整体性能。
- 当前系统缺乏足够的领域知识，影响复杂问题的解决。
未来方向
未来工作将集中在提高单文档信息提取的准确性和增强系统的领域知识，以进一步缩小与人类专家的差距。
AI 总览摘要
MuDABench是一个新的基准，专注于大规模文档集的分析问答任务。现有系统在处理跨文档信息聚合时表现不佳，MuDABench通过多代理工作流显著提升了这一领域的性能。
该工作流包括规划、提取和代码生成模块，每个模块负责不同的任务，从而实现高效的信息聚合和分析。实验结果显示，MuDABench在332个问答实例中表现优异，显著提高了最终答案的准确性。
尽管如此，单文档信息提取的准确性仍是主要瓶颈，未来工作将集中在提高这一环节的性能，并增强系统的领域知识，以进一步缩小与人类专家的差距。
深度分析
研究背景
近年来，问答系统在处理多文档信息时面临挑战，传统方法通常无法有效聚合跨文档的信息。MuDABench通过多代理工作流解决了这一问题，提供了一种新的分析问答框架。
核心问题
现有的多文档问答系统通常只能处理少量文档，缺乏跨文档推理能力。MuDABench旨在解决这一问题，通过高效的信息聚合实现复杂的分析任务。
核心创新
MuDABench的核心创新在于其多代理工作流，能够高效处理大规模文档集的分析问答任务。与现有方法相比，MuDABench显著提高了信息提取和聚合的效率。
方法详解
- �� 规划代理：生成子查询模板
- �� 提取代理：单文档信息提取
- �� 规范化代理：将结果转换为JSON格式
- �� 代码代理：分析结构化数据并生成最终答案
实验设计
实验使用了MuDABench数据集，包括80,000页文档和332个问答实例。对比基线包括标准RAG系统，评估指标为最终答案准确率和过程准确率。
结果分析
MuDABench在实验中显著提高了最终答案的准确率，达到人类专家水平的80%。消融实验显示，单文档信息提取是主要瓶颈。
应用场景
MuDABench可用于金融领域的报告分析和异常检测，帮助监管机构和企业进行高效的信息聚合和分析。
局限与展望
单文档信息提取的准确性仍需提高，系统缺乏足够的领域知识，影响复杂问题的解决。未来工作将集中在这些方面。
通俗解读 非专业人士也能看懂
想象你在一个图书馆里，想要找出哪些公司在2024年更换了会计事务所。你需要从成千上万的报告中提取信息，然后进行分析。这就像在一个巨大的拼图中找到合适的碎片，然后拼接成完整的图像。MuDABench就是这样一个工具，帮助你快速找到正确的拼图碎片并完成拼图。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的游戏，目标是找出哪些公司在2024年更换了会计事务所。你有一个超级智能的助手，它能快速浏览成千上万的报告，找出关键的信息，然后告诉你结果。这个助手就是MuDABench，它让你在游戏中轻松获胜！
术语表
MuDABench (多文档分析基准)
MuDABench是一个专为多文档分析问答设计的基准，包含80,000页文档和332个问答实例。
用于评估跨文档信息聚合的性能。
RAG系统 (检索增强生成系统)
RAG系统结合检索和生成技术，用于从文档中提取信息并回答问题。
在实验中作为基线进行比较。
多代理工作流
一种分布式处理框架，包含多个代理模块，分别负责规划、提取和分析任务。
MuDABench的核心方法论。
中间事实覆盖率
用于评估系统在信息提取过程中的准确性，作为辅助诊断信号。
帮助分析系统的推理过程。
财务数据集
包括年度报告、ESG报告和公司公告，用于分析问答任务。
MuDABench的数据来源。
开放问题 这项研究留下的未解疑问
- 1 如何提高单文档信息提取的准确性仍是一个开放问题。
- 2 当前系统缺乏足够的领域知识，影响复杂问题的解决。
应用场景
近期应用
金融报告分析
MuDABench可用于分析金融报告，帮助监管机构检测异常。
企业信息聚合
企业可以使用MuDABench进行高效的信息聚合和分析，优化决策流程。
远期愿景
自动化财务分析
MuDABench有潜力实现自动化财务分析，减少人工干预，提高效率。
原文摘要
This paper introduces the task of analytical question answering over large, semi-structured document collections. We present MuDABench, a benchmark for multi-document analytical QA, where questions require extracting and synthesizing information across numerous documents to perform quantitative analysis. Unlike existing multi-document QA benchmarks that typically require information from only a few documents with limited cross-document reasoning, MuDABench demands extensive inter-document analysis and aggregation. Constructed via distant supervision by leveraging document-level metadata and annotated financial databases, MuDABench comprises over 80,000 pages and 332 analytical QA instances. We also propose an evaluation protocol that measures final answer accuracy and uses intermediate-fact coverage as an auxiliary diagnostic signal for the reasoning process. Experiments reveal that standard RAG systems, which treat all documents as a flat retrieval pool, perform poorly. To address these limitations, we propose a multi-agent workflow that orchestrates planning, extraction, and code generation modules. While this approach substantially improves both process and outcome metrics, a significant gap remains compared to human expert performance. Our analysis identifies two primary bottlenecks: single-document information extraction accuracy and insufficient domain-specific knowledge in current systems. MuDABench is available at https://github.com/Zhanli-Li/MuDABench.