核心发现
方法论
Outcome Monitors通过检测任务不一致性来识别工具故障。该方法利用从任务不相干的轨迹中挖掘的结果合同，检测并标记违反合同的情况。监控器在检测到违约时，保留结果并提供非约束性收据，列出违反的属性和公共恢复工具。
关键结果
- 在ToolMaze实验中，Outcome Monitors将完成率从10.9%提升至28.1%，显著提高了任务完成的可能性。
- 在τ-bench零售环境中，完成率提高了14.0和12.0个百分点，显示出在不同环境下的稳定性。
- 去除恢复工具列表会消除测得的增益，恢复列表则恢复效果，表明恢复工具是关键因素。
研究意义
该研究通过引入Outcome Monitors，为语言代理提供了一种有效的工具故障检测和恢复机制，解决了长期以来工具调用失败后无法有效恢复的问题。这一机制在多种实验环境中验证了其有效性，具有广泛的应用潜力。
技术贡献
Outcome Monitors提供了一种新的检测工具故障的方法，与现有的合同和门控系统不同，它不强制执行响应，而是通过提供恢复工具列表来增强语言代理的恢复能力。
新颖性
该方法首次将结果合同应用于工具故障检测，通过挖掘任务不相干的轨迹来识别不一致性，提供了一种新的故障检测和恢复框架。
局限性
- 在检测超出挖掘词汇的故障时，检测率下降到46%，显示出词汇覆盖范围的局限性。
- 在某些情况下，恢复工具的提供并未显著提高任务完成率。
未来方向
未来的研究方向包括扩展检测超出合同词汇的能力，以及优化恢复工具的选择和应用，以提高任务完成率。
AI 总览摘要
在现代计算环境中，工具故障是语言代理面临的一个主要挑战。现有的解决方案往往无法有效地检测和恢复这些故障，导致任务失败和性能下降。Outcome Monitors通过检测任务不一致性来识别工具故障，并提供恢复工具列表，显著提高了任务完成率。
该方法在ToolMaze和τ-bench零售环境中进行了验证，结果显示，Outcome Monitors能够将ToolMaze的完成率从10.9%提高到28.1%，在τ-bench中也有显著的提升。这表明Outcome Monitors在不同的实验环境中都具有良好的适用性。
尽管如此，该方法在检测超出挖掘词汇的故障时仍存在局限性。未来的研究将致力于扩展检测能力和优化恢复工具的选择，以进一步提高任务完成率和系统的鲁棒性。
深度分析
研究背景
随着人工智能技术的发展，语言代理在执行复杂任务时越来越依赖于外部工具。然而，这些工具的故障可能导致任务失败，现有的方法在检测和恢复这些故障方面存在不足。
核心问题
工具故障通常是隐性的，难以被检测到。这些故障会导致任务失败，影响系统的稳定性和可靠性。因此，开发一种有效的故障检测和恢复机制是至关重要的。
核心创新
Outcome Monitors通过检测结果合同的违约来识别工具故障，并提供恢复工具列表。这种方法与传统的合同和门控系统不同，它不强制执行响应，而是增强了语言代理的恢复能力。
方法详解
- �� 结果合同挖掘：从任务不相干的轨迹中提取合同。
- �� 故障检测：识别并标记违反合同的情况。
- �� 恢复工具提供：在检测到违约时，提供恢复工具列表。
实验设计
实验在ToolMaze和τ-bench零售环境中进行，评估了Outcome Monitors在不同故障类型下的性能。实验结果表明，该方法显著提高了任务完成率。
结果分析
Outcome Monitors在ToolMaze中将完成率从10.9%提高到28.1%，在τ-bench中也有显著提升，验证了其在不同环境中的有效性。
应用场景
该方法可用于各种需要工具调用的语言代理系统中，特别是在需要高可靠性和稳定性的应用场景中。
局限与展望
该方法在检测超出挖掘词汇的故障时存在局限性，未来的研究将致力于扩展检测能力。
通俗解读 非专业人士也能看懂
想象一个工厂，机器在生产过程中可能会出故障。Outcome Monitors就像一个智能监控系统，能够检测到机器的异常，并提供修复工具列表，帮助工厂快速恢复生产。通过这种方式，工厂可以减少停机时间，提高生产效率。
简单解释 像给14岁少年讲一样
想象你在玩一个需要用工具的游戏。有时候工具会出问题，导致你无法继续游戏。Outcome Monitors就像游戏中的一个助手，能告诉你工具哪里出错了，并给你一些修复工具，让你继续游戏！是不是很酷？
术语表
Outcome Monitors (结果监控器)
一种检测工具故障并提供恢复工具的方法。
用于识别和恢复工具调用中的隐性故障。
ToolMaze
一种用于测试语言代理在工具故障下的表现的实验环境。
用于评估Outcome Monitors的有效性。
τ-bench
一种模拟零售环境的实验平台，用于测试工具调用代理的性能。
用于验证Outcome Monitors在不同环境中的适用性。
结果合同
定义工具调用和结果之间期望关系的合同。
用于检测工具故障的关键组件。
恢复工具
在检测到工具故障后提供的修复工具列表。
帮助语言代理恢复任务的关键因素。
开放问题 这项研究留下的未解疑问
- 1 如何扩展检测超出合同词汇的故障能力？
- 2 如何优化恢复工具的选择以提高任务完成率？
应用场景
近期应用
语言代理系统
可用于提高语言代理在工具故障下的稳定性和可靠性。
远期愿景
智能监控系统
未来可用于各种需要高可靠性和稳定性的系统中，实现自动故障检测和恢复。
原文摘要
When a tool call times out, the agent sees the failure and can route around it. A cached error page or negative price can instead arrive in the expected format and be consumed as fact. We introduce Outcome Monitors, which detect violations of outcome contracts mined from task-disjoint traces or derived from public schemas. On a violation, the monitor preserves the result and issues a nonbinding receipt naming the violated property and public recovery tools. In frozen, prespecified evaluations with injected failures, Outcome Monitors raise ToolMaze completion from 10.9% to 28.1% across four models in two provider families and replicate in a third. In tau-bench retail, completion improves by 14.0 and 12.0 points on two tiers. In separate ToolMaze controls, removing the recovery-tool list eliminates the measured gain and restoring it recovers the effect; diagnostic detail and timing produce no detectable differences. Gains concentrate where the fault blocks completion. On a suite transcribed from a published incident taxonomy, detection outside the mined vocabulary falls to 46%, though delivery continues and completion is unchanged. Recovery tools are the active receipt content in these controls; extending detection beyond the contract vocabulary remains open.