FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction
提出FinDeepIndicator基准，评估深度研究代理在端到端金融指标构建中的四阶段能力。
核心发现
方法论
本研究设计了一个四阶段的评估框架，涵盖公式定义、数据采集、指标计算和答案生成。利用234个细分指标和3500个问答对，结合10年金融数据，系统评估搜索型大模型和深度研究代理在真实金融场景中的表现。通过结构化解析模型响应，采用语义匹配和容差评估指标准确性，揭示模型在数据检索和数值执行方面的显著差距。实验显示，尽管LLMs在公式定义上表现优异，但在数据获取和数值计算上准确率大幅下降，深度研究代理表现优于LLMs，尤其在美股市场，但在宏观经济指标上仍表现不足。
关键结果
- 最优模型最终答案准确率约为40%，远低于公式准确率70%以上，反映出数据检索和数值执行的瓶颈。
- 在美股市场，深度研究代理比中国市场表现更佳，提升幅度超过9.6%，表明市场数据结构差异影响模型性能。
- 宏观经济指标最具挑战性，准确率普遍低于30%，尤其在贸易、财政和生产率指标上，因其涉及异源数据整合与多模态推理。
研究意义
本研究填补了金融指标构建中中间过程的评估空白，为未来智能金融分析系统提供了细粒度的能力分析工具。通过过程级别的评估框架，揭示模型在实际应用中的潜在风险和改进空间，有助于推动可信赖的金融AI代理的发展，增强其在风险控制、资产定价等领域的应用价值。
技术贡献
提出端到端金融指标构建的四阶段评估框架，结合结构化的指标分类和自动化问答生成机制，创新性地实现了过程级别的性能分析。引入多模态数据验证和语义匹配技术，提升了模型响应的可解释性和评估的可靠性，推动了金融AI的可验证性研究。
新颖性
首次系统性构建了涵盖中美市场、十年历史数据的金融指标端到端评估基准，结合结构化指标分类和多阶段性能检测，区别于传统只关注最终答案的评测方法，强调中间推理过程的完整性。
局限性
- 当前模型在宏观指标和多源异构数据整合方面仍表现不足，未来需加强多模态融合和因果推理能力。
- 评估依赖结构化模板和预定义指标，可能限制模型的泛化能力，实际场景中需考虑更复杂的自然语言表达。
- 实验主要集中在美股和A股市场，跨市场适应性和扩展性仍待验证。
未来方向
未来将引入更丰富的金融场景和指标类型，结合强化学习优化指标构建策略，提升模型的鲁棒性和泛化能力。同时，探索多模态数据融合与因果推理，增强模型在宏观经济分析中的表现，推动金融AI的实际应用落地。
AI 总览摘要
金融指标作为连接原始金融数据与决策的重要桥梁，其构建过程复杂且关键。传统评测多关注最终答案的正确性，忽视了中间推理的可靠性与透明度。为此，本文提出了FinDeepIndicator基准，系统性评估深度研究代理在端到端指标构建中的能力。
该基准将指标构建拆解为公式定义、数据采集、指标计算和答案生成四个阶段，结合结构化的指标分类体系，涵盖了基础、技术和宏观经济指标。利用3500个问答对和十年历史数据，模拟真实场景中的复杂推理任务，全面检测模型在不同环节的表现。
实验结果显示，尽管大型语言模型在公式定义上表现良好，但在数据检索和数值执行方面准确率明显下降，最高仅达40%。深度研究代理在美股市场表现优于中国市场，但在宏观指标上仍面临巨大挑战。这些发现揭示了当前模型的瓶颈，为未来提升金融AI的可信度和实用性提供了重要方向。
该工作不仅丰富了金融AI的评估体系，也为开发更智能、更可靠的金融分析工具奠定了基础。未来，将结合多模态数据和因果推理，推动指标构建的自动化和智能化，助力金融行业的数字化转型。
深度分析
研究背景
金融指标作为量化分析和决策的核心工具，经历了从手工计算到自动化生成的演变。早期依赖财务报表和统计模型，代表性工作包括Fama-French三因子模型和CAPM。近年来，深度学习技术引入金融分析，提升了指标的自动化和复杂性，但缺乏系统化的端到端评估框架。现有研究多集中于单一指标或最终答案的准确性，忽视了中间推理的可靠性和过程透明度。这限制了模型在实际金融决策中的应用信任度。随着大模型的发展，如何评估其在复杂推理和多源数据整合中的能力，成为学界和业界关注的焦点。本研究基于此背景，提出了结构化的端到端评估体系，旨在推动金融AI的可信化和实用化。
核心问题
当前金融AI模型在指标构建中表现出明显的瓶颈，尤其在数据检索和数值执行环节。虽然模型在公式理解方面取得一定突破，但在实际应用中，模型常因数据缺失、信息不一致或计算错误而导致结果不可靠。这限制了其在风险控制、资产定价等关键场景的应用。更重要的是，缺乏对中间推理过程的系统性评估，使得模型的弱点难以定位和改进。解决这一问题，需要设计全面的评估框架，细粒度检测模型在每个环节的表现，确保指标构建的完整性和可信度。
核心创新
本研究的核心创新在于提出端到端金融指标构建的四阶段评估框架，结合结构化指标分类体系，实现了对模型全过程能力的细粒度检测。引入多模态数据验证和语义匹配技术，提升了模型响应的可解释性和评估的可靠性。创新性地将指标定义、数据采集、计算和答案生成拆解为独立但关联的环节，便于定位模型的具体弱点。此框架突破了传统只关注最终答案的评测限制，为金融AI的可信化提供了新的技术路径。
方法详解
- �� 指标采集：整理234个金融指标，定义其公式和数据需求，建立结构化元数据。
- �� 模板设计：开发多样化的问答模板，涵盖不同难度等级（易、中、难），支持多语言变体。
- �� QA生成：通过模板变体和指标组合，自动生成3500个问答实例，包含详细中间步骤。
- �� 质量控制：采用专家评审和自动校验确保数据和公式的准确性。
- �� 评估流程：模型响应经过解析，分解为公式、原始数据、指标计算和最终答案，采用语义匹配和容差评估。
- �� 实验设计：在真实市场数据上测试多模型性能，比较不同市场和指标类别的表现，分析错误模式。
实验设计
使用包含10年历史数据的美国和中国上市公司数据集，评估多种LLMs和深度研究代理的端到端能力。指标包括基础财务、技术分析和宏观经济指标。采用准确率、容差匹配和中间步骤正确率作为评价指标。通过不同难度模板和市场环境，分析模型在公式理解、数据检索、数值计算和答案生成的表现差异。还进行了模型间的对比和错误分析，验证了框架的有效性。
结果分析
模型在公式定义上达70%以上的准确率，但最终答案最高仅40%，显示数据和数值环节的瓶颈。深度研究代理在美股市场表现优于中国市场，提升幅度超过9.6%。宏观指标的准确率普遍低于30%，特别在贸易和财政指标上，反映出多源异构数据整合的难题。这些结果强调了中间推理和数据获取的关键性，也指明了未来改进的方向。
应用场景
该基准可用于训练和评估金融AI模型，提升其在风险管理、资产定价和宏观分析中的应用能力。企业可以利用此框架优化指标构建流程，增强模型的可信度。长远来看，推动自动化金融分析工具的普及，降低人力成本，提高分析效率，助力金融行业数字化转型。
局限与展望
模型在宏观经济指标和多源数据融合方面仍存在不足，未来需加强多模态学习和因果推理能力。评估体系依赖预定义模板，可能限制模型的泛化。实验主要集中在中美市场，跨市场适应性和扩展性尚待验证。计算成本较高，实际部署需优化模型效率。
通俗解读 非专业人士也能看懂
想象你在一家工厂工作，工厂里有很多不同的机器，每台机器负责生产不同的零件。工厂的管理者需要知道每台机器的工作状态和生产效率，才能确保整个工厂顺利运转。现在，工厂引入了一个智能助手，它可以帮你理解每台机器的工作原理，找到需要的原材料，计算出生产速度，最后告诉你整个工厂的产量。这个助手就像论文中的模型，它可以一步步帮你完成复杂的任务，从理解问题，到搜集信息，再到计算结果，最后给出答案。这个过程就像你在厨房做菜，从准备食材、按照食谱操作，到最后端出一道美味佳肴。每个环节都很重要，缺一不可。
简单解释 像给14岁少年讲一样
想象你在学校的科学实验室里做实验，你需要用显微镜观察样本，然后用计算器算出结果，还要写报告告诉老师你学到了什么。这个过程很复杂，需要你一步步操作，不能只看最后的答案。论文里的模型就像你做实验一样，它们需要理解问题、找到相关信息、进行计算，然后得出正确的结果。虽然有时候模型会出错，比如找不到正确的数据，或者计算不准确，但只要一步步检查，就能找到问题所在。这个研究就像帮你设计一个超级聪明的助手，让它帮你完成这些繁琐的步骤，确保每一步都正确，最后你就能得到一个可靠的结果。这对金融分析来说非常重要，因为只有这样，才能让投资变得更科学、更可靠。
原文摘要
Financial indicators are essential tools for transforming raw financial data into interpretable measures for various downstream tasks, such as valuation, risk assessment, and economic analysis. However, existing financial benchmarks largely focus on answer-level accuracy and often assume that relevant data are already provided, leaving the assessment of the intermediate process of indicator construction underexplored. In this work, we propose FinDeepIndicator, the first benchmark dedicated to evaluating Deep Research (DR) agents in end-to-end financial indicator construction. Specifically, FinDeepIndicator evaluates DR agents across four stages in indicator construction: formula specification, data collection, indicator calculation, and answer generation, and covers fundamental, technical, and macroeconomic indicators organized into 21 fine-grained sub-categories. It contains 3,350 curated question-answer (QA) pairs derived from both U.S. and Chinese markets, 10 years of historical financial data, and 800 listed companies. Extensive experiments on search-equipped Large Language Models (LLMs) and DR agents show that, while LLMs generally perform well in formula specification, their accuracy drops substantially during data retrieval and numerical execution. DR agents consistently outperform search-equipped LLMs, yet remain unreliable in realistic financial analysis settings. These findings provide insights for developing more capable and trustworthy DR agents in finance.