Re-Invoke: Tool Invocation Rewriting for Zero-Shot Tool Retrieval
Re-Invoke方法在ToolE数据集上实现了单工具检索nDCG@5提升20%，多工具提升39%。
核心发现
方法论
Re-Invoke方法通过生成多样的合成查询来丰富工具文档，并在推理阶段提取用户查询中的关键意图，采用多视图相似性排名策略来识别最相关的工具。该方法无需训练，适用于大规模工具集。
关键结果
- 在ToolE数据集上，Re-Invoke在单工具检索任务中nDCG@5提升了20%，在多工具检索中提升了39%。
- 与最先进的替代方法相比，Re-Invoke在无监督环境下表现更优。
- 通过意图提取和文档扩展，显著提高了检索准确性。
研究意义
Re-Invoke方法在工具检索领域具有重要意义，解决了随着工具集规模增长而导致的检索瓶颈问题。通过无监督学习方式，该方法提高了工具利用的可靠性，适用于快速变化的工具环境。
技术贡献
Re-Invoke的技术贡献在于其无监督的工具检索方法，利用大语言模型进行文档扩展和意图提取，避免了对标记数据的依赖，提供了一种可扩展的工具检索解决方案。
新颖性
Re-Invoke首次在无监督环境下实现了大规模工具集的有效检索，创新性地结合了合成查询生成和多视图相似性排名。
局限性
- 在处理极其复杂的用户查询时，可能会出现意图识别错误，影响检索结果。
- 对生成的合成查询的质量依赖较高，可能影响最终检索效果。
未来方向
未来工作可以探索如何进一步提高合成查询的质量，以及在更大规模和更多样化的工具集上测试Re-Invoke的性能。
AI 总览摘要
随着大语言模型（LLMs）的发展，自动化代理能够使用多种工具进行复杂推理和任务完成。然而，随着工具集规模的增长，如何有效识别最相关的工具成为一个关键瓶颈。为了解决这一问题，本文提出了Re-Invoke，一种无监督的工具检索方法，旨在无需训练即可有效扩展到大型工具集。
Re-Invoke方法的核心在于生成多样的合成查询，以全面覆盖与每个工具文档相关的查询空间。在推理阶段，利用LLM的查询理解能力，从用户查询中提取关键的工具相关上下文和潜在意图。最后，采用基于意图的多视图相似性排名策略，精确定位每个查询最相关的工具。
实验结果表明，Re-Invoke在单工具和多工具场景中显著优于最先进的替代方法，尤其是在ToolE数据集上，单工具检索的nDCG@5提高了20%，多工具检索提高了39%。这一方法不仅在学术界具有重要意义，还为工业应用提供了新的可能性。未来的研究可以进一步提高合成查询的质量，并在更大规模的工具集上验证其性能。
深度分析
研究背景
近年来，大语言模型（LLMs）在复杂任务上的表现令人瞩目，包括数学、推理和编程等领域。然而，LLMs的静态语料库预训练限制了其对快速变化的现实世界的适应性。通过外部工具增强LLMs的能力，而不是仅依赖其内部知识，可以释放其潜力以解决更具挑战性的问题。
核心问题
随着工具集规模的增长，如何有效识别最相关的工具成为一个关键瓶颈。这一问题的重要性在于，错误的工具选择可能导致任务失败或效率低下，而解决这一问题的难点在于用户查询的多样性和复杂性。
核心创新
Re-Invoke的核心创新在于：1) 生成多样的合成查询以丰富工具文档，2) 提取用户查询中的关键意图，3) 采用多视图相似性排名策略。这些创新使得Re-Invoke能够在无监督环境下实现高效的工具检索。
方法详解
- �� 生成合成查询：使用LLMs生成多样的合成查询，丰富工具文档。
- �� 意图提取：在推理阶段提取用户查询中的关键意图。
- �� 多视图相似性排名：基于意图的多视图相似性排名策略，识别最相关的工具。
实验设计
实验使用ToolBench和ToolE数据集，评估Re-Invoke的工具检索性能。使用nDCG@5作为主要评估指标，比较了与BM25和HyDE等基线方法的性能差异。
结果分析
Re-Invoke在ToolE数据集上的单工具检索任务中nDCG@5提升了20%，在多工具检索任务中提升了39%。与最先进的替代方法相比，Re-Invoke在无监督环境下表现更优。
应用场景
Re-Invoke适用于需要快速识别相关工具的场景，如智能助手、自动化任务分配等。其无监督特性使其在动态变化的工具环境中具有广泛的应用潜力。
局限与展望
Re-Invoke在处理复杂用户查询时可能出现意图识别错误。此外，对合成查询质量的依赖可能影响最终检索效果。未来可以通过提高合成查询质量和扩展测试规模来改进。
通俗解读 非专业人士也能看懂
想象你在一个巨大的工具箱里寻找合适的工具来完成任务。Re-Invoke就像一个聪明的助手，它能理解你想要做什么，并迅速找到最合适的工具。它通过生成各种可能的任务描述，确保工具箱里的每个工具都有清晰的使用说明。当你提出请求时，它能识别出你真正的需求，并根据这些需求找到最合适的工具。这就像在一个大型超市里购物，有人帮你找到所有需要的商品。
简单解释 像给14岁少年讲一样
想象你在玩一款游戏，需要选择合适的道具来完成任务。Re-Invoke就像游戏里的智能助手，它能理解你的任务目标，并迅速找到最合适的道具。它会生成各种任务描述，确保每个道具都有清晰的使用说明。当你提出请求时，它能识别出你的真正需求，并根据这些需求找到最合适的道具。这就像在游戏里有个助手帮你找到所有需要的道具，让你更快完成任务！
术语表
Re-Invoke (重调用)
一种无监督的工具检索方法，通过生成合成查询和提取用户意图来识别相关工具。
用于在大规模工具集中进行高效检索。
nDCG@5 (归一化折损累积增益)
一种评估检索系统性能的指标，考虑结果的相关性和排名。
用于评估Re-Invoke在工具检索任务中的表现。
LLM (大语言模型)
能够处理和生成自然语言的大规模深度学习模型。
用于生成合成查询和提取用户意图。
多视图相似性 (Multi-view Similarity)
一种通过多个视角评估相似性的策略，提高检索准确性。
用于在Re-Invoke中识别最相关的工具。
合成查询 (Synthetic Query)
通过模型生成的模拟用户查询，用于丰富工具文档。
在Re-Invoke中用于提高工具检索的覆盖率。
开放问题 这项研究留下的未解疑问
- 1 如何在更大规模和更多样化的工具集上验证Re-Invoke的性能？
- 2 如何提高合成查询的质量以进一步提升检索效果？
应用场景
近期应用
智能助手
Re-Invoke可以用于智能助手中，帮助快速识别和调用合适的工具，提高任务完成效率。
远期愿景
自动化任务分配
在复杂的任务环境中，Re-Invoke可以用于自动化任务分配，确保使用最合适的工具来完成任务。
原文摘要
Recent advances in large language models (LLMs) have enabled autonomous agents with complex reasoning and task-fulfillment capabilities using a wide range of tools. However, effectively identifying the most relevant tools for a given task becomes a key bottleneck as the toolset size grows, hindering reliable tool utilization. To address this, we introduce Re-Invoke, an unsupervised tool retrieval method designed to scale effectively to large toolsets without training. Specifically, we first generate a diverse set of synthetic queries that comprehensively cover different aspects of the query space associated with each tool document during the tool indexing phase. Second, we leverage LLM's query understanding capabilities to extract key tool-related context and underlying intents from user queries during the inference phase. Finally, we employ a novel multi-view similarity ranking strategy based on intents to pinpoint the most relevant tools for each query. Our evaluation demonstrates that Re-Invoke significantly outperforms state-of-the-art alternatives in both single-tool and multi-tool scenarios, all within a fully unsupervised setting. Notably, on the ToolE datasets, we achieve a 20% relative improvement in nDCG@5 for single-tool retrieval and a 39% improvement for multi-tool retrieval.