核心发现
方法论
提出了一个细化的错误分类法，涵盖推理、计划和执行三个领域，并构建了TRAIL数据集，包含148条基于GAIA和SWE-Bench的真实追踪数据。
关键结果
- 结果1：GEMINI-2.5-PRO模型在错误分类和定位任务上联合准确率仅为11%，显示当前LLM在复杂追踪分析中的不足。
- 结果2：实验表明，模型需要处理超过其上下文长度的输入，且生成输出接近其最大能力。
- 结果3：增加推理链显著提高模型性能，强调探索能力的重要性。
研究意义
该研究解决了代理系统复杂追踪数据的评估难题，为多代理系统的调试和优化提供了系统化工具，对学术界和工业界均有重要意义。
技术贡献
提出了一个细化的错误分类法，涵盖推理、计划和执行三个领域；构建了生态有效的TRAIL数据集；揭示了当前LLM在长上下文调试中的局限性。
新颖性
首次提出基于真实追踪数据的细化错误分类法，并验证了其在多代理系统调试中的有效性。
局限性
- 局限1：当前数据集主要基于软件工程和信息检索任务，领域覆盖有限。
- 局限2：模型性能受限于上下文长度，无法处理超长追踪数据。
- 局限3：实验未深入探讨多代理间的协作失败模式。
未来方向
未来可扩展至更多领域的追踪数据，优化模型处理长上下文的能力，并探索多代理协作中的错误模式。
AI 总览摘要
随着代理系统在多领域的广泛应用，评估其复杂追踪数据变得至关重要。然而，现有方法依赖人工分析，难以应对日益增长的复杂性和数据量。本研究提出了TRAIL框架，包含一个细化的错误分类法和148条真实追踪数据，涵盖推理、计划和执行三个领域。实验结果显示，当前最先进的LLM在错误分类和定位任务上的联合准确率仅为11%，暴露了其在长上下文调试中的不足。
TRAIL数据集基于GAIA和SWE-Bench，涵盖软件工程和信息检索任务，具有生态有效性。研究揭示了增加推理链对模型性能的显著提升，强调了探索能力的重要性。同时，研究指出了模型在处理超长上下文和多代理协作中的局限性。
该框架为代理系统的调试和优化提供了系统化工具，对学术界和工业界均有重要意义。未来工作可扩展至更多领域的追踪数据，并优化模型处理长上下文的能力。
深度解读
原文摘要
The increasing adoption of agentic workflows across diverse domains brings a critical need to scalably and systematically evaluate the complex traces these systems generate. Current evaluation methods depend on manual, domain-specific human analysis of lengthy workflow traces - an approach that does not scale with the growing complexity and volume of agentic outputs. Error analysis in these settings is further complicated by the interplay of external tool outputs and language model reasoning, making it more challenging than traditional software debugging. In this work, we (1) articulate the need for robust and dynamic evaluation methods for agentic workflow traces, (2) introduce a formal taxonomy of error types encountered in agentic systems, and (3) present a set of 148 large human-annotated traces (TRAIL) constructed using this taxonomy and grounded in established agentic benchmarks. To ensure ecological validity, we curate traces from both single and multi-agent systems, focusing on real-world applications such as software engineering and open-world information retrieval. Our evaluations reveal that modern long context LLMs perform poorly at trace debugging, with the best Gemini-2.5-pro model scoring a mere 11% on TRAIL. Our dataset and code are made publicly available to support and accelerate future research in scalable evaluation for agentic workflows.