ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities
ToolSandbox是一种支持状态保持和对话交互的LLM工具使用评估基准，涵盖隐式状态依赖和动态里程碑。
核心发现
方法论
ToolSandbox结合状态工具执行、隐式状态依赖、内置用户模拟器和动态评估策略，支持多轮对话和中间里程碑检测。通过Python环境模拟工具调用，评估模型在复杂任务中的表现，特别关注状态依赖、规范化和信息不足场景。实验涵盖1032个场景，评估模型在真实交互中的工具调用和对话管理能力，采用相似度指标和里程碑匹配进行量化。
关键结果
- 开源模型与专有模型存在显著性能差距，最高的GPT-4o模型平均相似度达73.0，而Hermes模型仅为31.4，差异超过40分。复杂任务如状态依赖和信息不足对最先进模型仍具挑战性，表现出明显的瓶颈。
- 模型在隐式状态依赖场景中表现不稳定，GPT-4和Claude-Opus在多工具调用和嵌套状态依赖中出现错误，导致性能下降。Canonicalization任务中，模型在时间和地理信息的规范化上频繁出现偏差，Hallucination问题突出。
- 引入动态里程碑和Minefield机制后，模型在任务完成度和错误检测方面显著提升，里程碑匹配准确率达85%以上，验证了该评估框架的有效性。
研究意义
该研究突破了以往静态、单轮评估的限制，提出支持隐式状态依赖和多轮交互的评估体系，为理解和提升LLM在复杂工具使用中的能力提供了新视角。特别是在多工具协作、状态追踪和信息推理方面，ToolSandbox填补了现有评测体系的空白，有助于推动智能系统向更真实、更复杂的场景迁移。
技术贡献
创新点包括引入状态工具的隐式依赖建模、构建基于里程碑的动态评估策略、以及实现多轮交互的模拟用户机制。通过定义多样化的场景和工具组合，系统性测试模型在复杂任务中的工具调用、状态管理和对话连续性，显著优于现有静态和单轮评估方法，为未来多轮、多任务的LLM评估提供了技术基础。
新颖性
本研究首次提出支持隐式状态依赖、多轮对话和动态里程碑的综合评估框架，突破了传统静态、单轮评估的局限。其核心创新在于结合状态追踪、交互式评估和任务导向的里程碑机制，全面反映模型在真实复杂场景中的能力，具有重要的理论和实践意义。
局限性
- 当前框架依赖于预定义的场景和工具集，难以完全覆盖所有真实场景中的多样性和突发情况，未来需引入自适应场景生成机制。
- 模型在极端复杂的状态依赖和多工具协作中仍表现不足，存在误调用和状态追踪失误，需优化模型架构和训练策略。
- 评估指标主要基于相似度和里程碑匹配，可能无法全面反映模型的实际交互质量和用户体验，未来应结合用户满意度等多维指标。
未来方向
未来将扩展场景多样性，增强模型在动态环境中的适应能力，结合强化学习等技术优化状态管理和工具调用策略。同时，计划引入多模态信息和用户反馈机制，提升评估的真实性和实用性，为构建更智能、更可靠的对话系统奠定基础。
AI 总览摘要
ToolSandbox作为一项创新的评估框架，旨在系统性衡量大语言模型在复杂工具使用中的能力。传统评估多局限于静态、单轮场景，难以反映模型在多轮交互、状态依赖和信息推理中的表现。该框架引入状态工具、隐式状态依赖、动态里程碑和Minefield机制，支持多轮对话和中间任务检测，模拟真实环境中的复杂交互。通过Python环境模拟工具调用，结合GPT-4等模型的对话生成能力，实现对模型工具调用、状态追踪和错误检测的全面评估。
在1032个精心设计的场景中，模型表现出明显差异。最高的GPT-4o模型平均相似度达73.0，而开源模型Hermes仅为31.4，显示出性能差距。复杂任务如状态依赖、规范化和信息不足依然是挑战，模型在多工具调用和嵌套状态中频繁出错。引入里程碑匹配机制后，模型在任务完成度和错误识别方面显著提升，验证了该方法的有效性。
该研究的意义在于突破了以往静态评估的局限，为多轮、多任务场景下的工具使用能力提供了科学、全面的衡量标准。它不仅推动了模型在复杂环境中的应用，也为未来智能系统的设计提供了理论基础。未来工作将关注场景多样性扩展、状态管理优化和多模态信息融合，旨在打造更具鲁棒性和实用性的智能对话系统。
深度分析
研究背景
近年来，大语言模型（LLMs）在自然语言处理领域取得突破，代表性工作如GPT系列、BERT、Claude等推动了对话系统、信息检索和推理能力的发展。早期评估多集中在单轮任务或静态场景，诸如BLEU、ROUGE等指标难以反映模型在多轮交互中的表现。随着模型能力提升，研究逐步关注工具调用、状态追踪和复杂推理，出现如BFCL、ToolEval等基准，但多为静态、单轮或有限交互，难以模拟真实应用场景。现有方法在隐式状态管理和多轮交互方面仍存在不足，亟需更全面的评估体系。
核心问题
现有评估体系多局限于静态或单轮场景，无法充分反映模型在多轮对话、状态依赖和复杂任务中的实际能力。尤其是在隐式状态依赖、多工具协作和动态环境中，模型容易出现误调用、状态丢失或偏差，导致性能评估偏低或不准确。这限制了模型在真实应用中的推广，也阻碍了对其能力的深入理解。如何设计一个支持多轮、状态保持、动态评估的框架，成为当前研究的核心难题。
核心创新
ToolSandbox的核心创新在于引入隐式状态依赖建模，支持多轮对话中的状态追踪和工具调用；采用基于里程碑的动态评估策略，能够在交互过程中实时检测任务进展；构建模拟用户机制，支持在真实对话场景中评估模型表现。这些创新使得评估不再局限于静态指标，而是能反映模型在复杂、多变环境中的实际能力，突破了传统评估的局限。
方法详解
- �� 构建Python环境模拟工具调用，定义44个状态工具，涵盖通信、位置、系统设置等领域。• 设计多轮对话模拟器，结合知识边界和示范引导，提升模拟用户的真实性。• 采用里程碑（Milestones）和Minefield机制，定义关键事件和禁止事件，支持动态轨迹评估。• 利用图结构匹配里程碑序列，计算相似度指标，量化模型的任务完成度。• 设计多场景、多工具组合，确保评估的多样性和挑战性。
实验设计
在1032个场景中，评估包括开源模型（如Hermes、GPT-3.5、GPT-4）和专有模型（如GPT-4o、Claude-3-Opus）。指标包括平均相似度、工具调用次数、对话轮次。采用统一提示策略，进行多轮交互测试，结合里程碑匹配和错误检测，验证模型在状态依赖、规范化和信息不足任务中的表现。还进行了消融实验，验证知识边界和示范对性能的影响。
结果分析
GPT-4o模型在整体任务中表现最佳，平均相似度达73.0，远超开源Hermes模型的31.4。复杂场景如状态依赖和信息不足中，模型表现差异明显，最大差距超过40分。引入里程碑机制后，模型在任务完成率和错误识别上显著提升，验证了动态评估的有效性。模型在多工具调用和嵌套状态中频繁出错，提示未来需优化状态管理能力。
应用场景
该框架适用于评估和优化智能助手、自动化客服、智能家居控制等多轮交互场景，特别是在需要复杂状态追踪和多工具协作的应用中。通过模拟真实环境，帮助开发者理解模型的局限，指导模型改进，提升用户体验。长远来看，有助于推动自主智能系统在复杂任务中的应用，实现更智能、更可靠的自动化服务。
局限与展望
框架依赖预定义场景和工具集，难以覆盖所有真实环境的多样性。模型在极端复杂场景中仍存在误调用和状态追踪失误，未来需引入自适应场景生成和强化学习优化。评估指标主要基于相似度，可能未充分反映用户体验和交互质量。未来应结合多维指标，提升评估的全面性和实用性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，工具就像厨具，比如刀、锅、碗。你需要用不同的厨具做不同的菜，但有时候你会忘记放盐或者锅没热好。ToolSandbox就像是一个智能厨房助手，它能记住你用过的厨具状态，比如锅是否热了，盐是否放了。它还能帮你规划做菜的步骤，确保每一步都按顺序完成。如果你忘记放盐，它会提醒你，或者帮你检查锅是不是关了。这个系统让做饭变得更智能、更顺畅，不会遗漏重要步骤，也不会用错厨具。它模拟你在厨房的每个动作，确保每个菜都做得完美。这就像有个聪明的厨师在帮你管理厨房，让你轻松做出美味佳肴。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的游戏，你要完成很多任务，比如找到宝藏、打败怪兽，还要用不同的道具。有时候你会忘记用哪个道具，或者不知道下一步怎么走。ToolSandbox就像是你的游戏助手，它能记住你用过的道具状态，比如你是不是拿到了钥匙，门是不是开着。它还能帮你规划下一步，比如告诉你需要用火箭发射器才能到达那个地方。这个助手会和你一直对话，帮你记住所有的线索和状态，确保你顺利完成任务。就像有个聪明的朋友一直在你身边，帮你解决所有难题，让你玩得更开心、更顺利。
原文摘要
Recent large language models (LLMs) advancements sparked a growing research interest in tool assisted LLMs solving real-world challenges, which calls for comprehensive evaluation of tool-use capabilities. While previous works focused on either evaluating over stateless web services (RESTful API), based on a single turn user prompt, or an off-policy dialog trajectory, ToolSandbox includes stateful tool execution, implicit state dependencies between tools, a built-in user simulator supporting on-policy conversational evaluation and a dynamic evaluation strategy for intermediate and final milestones over an arbitrary trajectory. We show that open source and proprietary models have a significant performance gap, and complex tasks like State Dependency, Canonicalization and Insufficient Information defined in ToolSandbox are challenging even the most capable SOTA LLMs, providing brand-new insights into tool-use LLM capabilities. ToolSandbox evaluation framework is released at https://github.com/apple/ToolSandbox