核心发现
方法论
采用73个API工具构建可运行评估系统，标注314个对话，分析模型调用、检索、规划能力。构建1888条多域对话训练集，训练基于Alpaca的Lynx模型，评估GPT-3.5、GPT-4等性能。通过误差分析识别挑战。
关键结果
- GPT-3.5在API调用准确率提升至~60%，较GPT-3显著改善，但在规划和检索方面仍有差距。Lynx模型在工具利用上超越Alpaca26分，逼近GPT-3.5表现。GPT-4在多API调用和规划任务中表现优异，API调用正确率达70%以上。
- 模型在多域、多API场景下表现出较强泛化能力，但在复杂需求和大规模API池中仍有提升空间。
- 误差分析揭示模型在API选择、参数传递和多API协调方面存在主要瓶颈。
研究意义
该研究填补了工具调用能力评估的空白，推动LLMs在实际应用中的工具融合。提供了全面的评估体系和高质量训练数据，助力未来模型在信息更新、任务复杂性方面的突破，具有重要理论和实践价值。
技术贡献
提出API-Bank基准，结合多域、多API、多任务场景，系统评估模型规划、检索、调用能力。引入多智能体自动生成训练数据，显著降低标注成本。训练出Lynx模型，验证其工具利用提升，丰富了工具增强的技术路径。
新颖性
首次构建覆盖广泛域、多API、多能力的综合评估体系，采用多智能体自动数据生成，突破传统人工标注瓶颈。模型训练和评估体系创新性结合实际用户需求，推动工具调用研究前沿。
局限性
- 模型在多API、多任务场景下的协调能力仍不足，存在调用错误和参数传递失误。
- 训练数据虽大幅降低成本，但在某些专业领域和极端复杂场景中表现仍有限。
- 当前评估体系主要基于静态API调用，动态环境和实时信息更新仍待解决。
未来方向
未来将结合强化学习优化调用策略，增强模型在动态环境中的适应性。扩展API池规模，丰富任务类型，提升多API协作能力。同时，结合用户反馈持续完善评估体系。
AI 总览摘要
随着大规模语言模型（LLMs）在自然语言处理中的崛起，如何有效利用外部工具成为提升其实际应用能力的关键。传统模型受限于训练数据的时效性和覆盖范围，难以应对复杂多变的任务需求。本文提出API-Bank，一套全面的工具调用评估基准，旨在系统衡量和提升LLMs的API调用能力。
API-Bank通过73个真实API构建可执行的评估系统，标注314个对话，涵盖调用、检索和规划三大核心能力。与此同时，利用多智能体自动生成技术，构建了1888条多域、多API的训练数据，显著降低了标注成本。基于此，作者训练了Lynx模型，初始化自Alpaca-7B，通过大量实验验证其在API调用准确率、任务规划和多API协调方面的性能提升。
实验结果显示，GPT-3.5在API调用准确率提升至60%，明显优于GPT-3，GPT-4在规划和多API调用中表现尤为出色，API调用正确率超过70%。Lynx模型在工具利用方面超越Alpaca26分，逼近GPT-3.5水平，展现出良好的泛化能力。误差分析揭示模型在API选择、参数传递和多API协调上仍存在挑战，未来需结合强化学习和更丰富的API池优化模型能力。
该研究不仅提供了评估和训练工具利用的标准体系，还为未来智能系统的工具融合提供了理论基础和实践路径，推动AI在实际场景中的深度应用。未来工作将聚焦于动态环境适应、多API协作优化及用户反馈机制，持续推动工具增强技术的发展。
深度分析
研究背景
近年来，LLMs如GPT-3、Codex、ChatGPT和GPT-4在自然语言理解和生成方面取得突破，但受限于训练数据的时效性和覆盖面，难以满足实际应用的需求。工具辅助技术应运而生，旨在弥补模型知识的不足，增强其信息更新和任务执行能力。已有WebGPT、ReAct等方法结合搜索API实现信息检索，但缺乏系统化的评估体系，限制了工具调用能力的深入研究。
核心问题
核心问题在于现有LLMs在工具调用方面表现不均，缺乏统一评估标准。模型在规划、检索和调用API时存在准确率低、协调困难等瓶颈，限制其在复杂任务中的应用。如何设计全面、真实的评估体系，衡量模型的工具利用能力，成为亟待解决的关键问题。
核心创新
本文创新点包括：1）构建涵盖73个API的可执行评估系统，真实模拟多场景调用；2）提出多智能体自动生成训练数据，显著降低标注成本；3）训练出基于Alpaca的Lynx模型，提升工具调用能力；4）系统评估模型在规划、检索、调用三方面的性能，提供全方位指标。这些创新推动了工具增强技术的理论和实践发展。
方法详解
- �� 设计API-Bank评估体系，涵盖多域、多API、多任务场景。• 构建73个API，标注314个对话，评估模型调用、检索和规划能力。• 利用多智能体自动生成1888条训练对话，确保数据多样性和真实性。• 训练Lynx模型，初始化自Alpaca-7B，采用三轮训练。• 评估模型在不同API调用任务中的表现，比较GPT-3.5、GPT-4和Lynx性能。• 通过误差分析识别模型瓶颈，提出未来改进方向。
实验设计
在API-Bank评估体系中，测试GPT-3.5、GPT-4、ChatGLM-6B、Alpaca-7B及训练的Lynx模型。指标包括API调用准确率、ROUGE-L响应质量。采用不同任务场景（单API调用、多API调用、规划+检索+调用）进行评估。超参数设置为批次256，学习率2e-5，训练三轮。对比分析模型在多域、多任务中的表现，验证数据质量和泛化能力。
结果分析
GPT-3.5在API调用准确率达60%，比GPT-3显著提升。Lynx模型在工具利用上超越Alpaca26分，逼近GPT-3.5水平。GPT-4在多API规划和调用中表现优异，调用正确率超过70%。模型在复杂多任务场景下仍存在调用错误和参数传递失误，揭示未来优化空间。实验验证了API-Bank的全面性和实用性，为工具增强提供了量化评估标准。
应用场景
该基准可用于评估未来LLMs在实际应用中的工具调用能力，推动智能助手、自动化客服、信息检索等行业的发展。训练出的模型可在动态环境中实现更高效的任务执行，提升用户体验。未来可结合用户反馈持续优化模型性能，扩展API池，增强多任务协作能力。
局限与展望
当前模型在多API、多任务协调方面仍存在不足，调用错误和参数错误频发。训练数据虽大幅降低成本，但在专业领域和极端场景中表现有限。评估体系主要基于静态API调用，动态信息和实时环境适应仍需改进。未来需结合强化学习和环境感知技术，提升模型鲁棒性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，厨师（模型）需要用各种调料（API）来做菜。有些调料很常用（少量API），只需一滴（单次调用）；有些菜需要多次调料（多API调用），比如先放盐再放酱油。厨师要知道用哪个调料（检索）和怎么用（调用），还要安排好顺序（规划）。如果调料很多（大API池），厨师就得先找到合适的调料（检索），然后按步骤用（调用）。这个过程就像模型学习用工具，API-Bank帮厨师练习，告诉他怎么找到调料、用对方法，做出美味的菜。
简单解释 像给14岁少年讲一样
想象你在厨房里做饭，你需要用各种调料和工具。有时候，你只需要用一种调料（API）就能搞定事情，比如加点盐。可是，有时候一道菜需要用很多调料，像先放点胡椒，再放点酱油（多API调用）。你得先知道需要哪些调料（检索），然后按照顺序用（调用），还要确保每一步都正确。模型就像这个厨师，要学会找调料、用对方法，才能做出好菜。API-Bank就像是厨房指南，帮你练习怎么找到调料、用得正确，让你变成厨房高手！
术语表
API (应用程序接口)
一种软件接口，允许不同程序之间通信。
模型调用外部工具时使用的接口。
工具增强 (Tool-Augmentation)
通过外部工具提升模型能力的方法。
本文中的核心概念，用于改善模型的实际应用表现。
多智能体 (Multi-agent)
多个AI协作生成数据或完成任务的系统。
用于自动生成训练数据，降低标注成本。
API调用准确率 (API Call Accuracy)
模型正确调用API的比例。
评估模型工具利用能力的重要指标。
ROUGE-L
衡量文本生成质量的指标，关注最长公共子序列。
用于评估模型生成响应的质量。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升模型在极端复杂任务中的API协调能力仍未解决。
- 2 动态环境中实时信息更新和API调用的鲁棒性不足。
- 3 大规模API池下的检索效率和准确性仍需优化。
应用场景
近期应用
智能助手
基于API-Bank训练的模型能更准确地调用工具，提升智能客服和个人助理的效率。
远期愿景
自动化系统
未来模型能自主规划多步骤任务，广泛应用于自动驾驶、工业自动化等领域，推动智能化升级。
原文摘要
Recent research has demonstrated that Large Language Models (LLMs) can enhance their capabilities by utilizing external tools. However, three pivotal questions remain unanswered: (1) How effective are current LLMs in utilizing tools? (2) How can we enhance LLMs' ability to utilize tools? (3) What obstacles need to be overcome to leverage tools? To address these questions, we introduce API-Bank, a groundbreaking benchmark, specifically designed for tool-augmented LLMs. For the first question, we develop a runnable evaluation system consisting of 73 API tools. We annotate 314 tool-use dialogues with 753 API calls to assess the existing LLMs' capabilities in planning, retrieving, and calling APIs. For the second question, we construct a comprehensive training set containing 1,888 tool-use dialogues from 2,138 APIs spanning 1,000 distinct domains. Using this dataset, we train Lynx, a tool-augmented LLM initialized from Alpaca. Experimental results demonstrate that GPT-3.5 exhibits improved tool utilization compared to GPT-3, while GPT-4 excels in planning. However, there is still significant potential for further improvement. Moreover, Lynx surpasses Alpaca's tool utilization performance by more than 26 pts and approaches the effectiveness of GPT-3.5. Through error analysis, we highlight the key challenges for future research in this field to answer the third question.