核心发现
方法论
本文系统分析了工具调用的评估流程，重点关注随机种子、多轮模板构建、历史信息传递等因素对性能的影响。采用BFCL基准，比较不同实现细节对多轮任务性能的敏感性。针对RL训练，识别出rollout中无学习信号和策略更新中的高计算成本两个瓶颈，提出两种加速技术：在线预筛选和方差感知的采样策略。通过实验证明，所提方法在不降低性能的前提下，实现了显著的训练速度提升。
关键结果
- 多轮评估中，随机种子差异导致性能波动高达3%，而单轮表现较稳定。多轮模板构建方式影响性能，native模板优于context模板约6-8%。系统提示微调也能带来类似RL的性能提升，强调标准化的重要性。RL训练中，80%的rollouts无学习信号，策略更新阶段耗时是rollout的3-5倍。引入的加速技术使训练速度提升1.7-2.6倍，性能无明显下降。
- 在不同模型上，改进后模型在BFCL多轮任务中得分提升至39.4分，优于未优化模型。训练数据格式影响有限，单轮训练能有效提升模型性能。RL训练中的无效rollouts和高昂的策略更新成本是主要瓶颈，提出的采样与筛选策略显著缓解了这一问题。整体结果表明，优化训练流程和评估标准对于提升工具调用能力具有重要意义。
- 实验验证了多轮评估的敏感性，强调了标准化和详细报告的重要性。提出的两项加速技术在保持性能的同时，显著缩短训练时间，为大规模RL训练提供了可行方案。未来工作可结合更复杂的任务和多模态输入，进一步优化训练效率和评估鲁棒性。
研究意义
本研究揭示了工具调用评估中的敏感性问题，强调标准化对科研复现和模型比较的重要性。通过提出高效的RL训练加速策略，有助于降低大规模训练成本，加快模型迭代速度。研究成果对推动大语言模型在实际应用中的可靠性和效率具有深远影响，特别是在多轮交互和复杂任务场景中。未来，结合多模态信息和更丰富的交互数据，将进一步提升工具调用的实用性和鲁棒性。
技术贡献
本文首次系统分析了工具调用评估流程的敏感性，揭示了随机性、多轮模板和历史信息对性能的影响。提出两项创新技术：在线预筛选和方差感知采样，有效减少RL训练中的无效计算，提升训练效率。实验证明，这些方法在保持模型性能的同时，实现了1.7-2.6倍的训练加速，为RL在大规模模型中的应用提供了新思路。研究还强调了评估标准的标准化和报告透明度的重要性，推动了工具调用研究的规范化发展。
新颖性
本研究首次系统性揭示了工具调用评估的敏感性问题，强调了细节对性能的巨大影响。提出的两项加速技术在RL训练中具有创新性，结合动态筛选和方差采样，有效缓解了无效rollouts和高昂的策略更新成本。这些技术在保持性能的基础上实现了显著的训练效率提升，填补了当前方法在效率优化方面的空白。整体上，论文在评估标准和训练优化两个方面均具有创新突破。
局限性
- 当前方法主要在特定基准和模型上验证，泛化到其他任务和模型仍需进一步验证。多轮模板和历史信息的处理仍存在优化空间，可能在极端场景下表现不佳。加速技术依赖于对模型和数据的特定假设，可能在不同设置中效果有限。未来需结合更复杂的多模态输入和长序列交互，提升鲁棒性和适应性。
未来方向
未来将探索多模态信息融合，提升工具调用在复杂场景中的表现。计划结合自监督学习和迁移学习，进一步降低训练成本。还将研究多任务、多模态、多轮交互的统一评估框架，确保标准化和可比性。推动工具调用在实际应用中的落地，特别是在自动化客服、智能助理等领域，提升模型的鲁棒性和实用性。
AI 总览摘要
工具调用作为大语言模型的重要能力，极大拓展了模型的应用边界。当前，评估工具调用的效果存在高度敏感性，微小的实现差异可能导致性能差异显著，影响模型的公平比较和科学复现。本文通过系统分析，揭示了随机性、多轮模板构建和历史信息传递等因素对多轮任务性能的影响，强调了评估流程的标准化必要性。同时，研究发现RL训练中的两个主要瓶颈：无学习信号的rollouts和昂贵的策略更新，严重制约训练效率。为此，作者提出两项创新技术：在线预筛选和方差感知采样，有效减少无效计算，显著提升训练速度，达到了1.7到2.6倍的加速效果。这些方法在多个模型和任务中验证了其有效性，模型性能得到了提升，训练成本大幅降低。研究结果不仅丰富了工具调用的理论基础，也为工业界大规模训练提供了实用方案。未来，结合多模态、多任务和更复杂的交互场景，将进一步推动工具调用技术的落地和发展。整体来看，本论文在评估标准的严谨性和训练流程的优化方面做出了重要贡献，为大语言模型的可靠性和效率提升提供了新思路。
深度解读
原文摘要
Tool-calling is a central component of modern large language model (LLM) agents, equipping them with skills beyond their parametric knowledge. This paper studies tool-calling along two complementary axes: effectiveness, i.e., how this capability is measured, and efficiency, i.e., how it is learned. On effectiveness, we systematically analyze tool-calling evaluation pipelines and show that results can be highly sensitive to seemingly minor, often undocumented implementation choices including the random seed, system prompt, multi-turn template construction, and how prior interaction/reasoning history is carried forward. These choices can lead to substantial differences in reported performance, especially in multi-turn settings where without rigorous standardization, leaderboard rankings are unreliable. On efficiency, we examine standard reinforcement learning (RL) for tool-calling and identify two sources of computational waste: (i) during rollouts, many prompts produce no learning signal, and (ii) during policy updates, optimization incurs high computational cost. Guided by these findings, we introduce two techniques that accelerate RL-based tool-calling training, achieving substantial wall-clock speedup without degrading performance.