核心发现
方法论
本文定义工具幻觉为工具选择和使用两大类，提出RelyToolBench评估平台结合规则和LLM评估检测幻觉。引入RePR和Benefit-cost Utility指标衡量任务成功率和成本。Relign扩展工具调用空间，加入不决策行为，通过SFT和DPO优化模型决策，减少幻觉。核心在于通过可靠性对齐训练，提升模型在工具调用中的决策准确性。
关键结果
- 在RelyToolBench上，Relign模型将工具幻觉率降低了约35%，显著优于基线方法。RePR指标提升了15%以上，表明任务成功率更高且幻觉更少。Benefit-cost Utility显示模型在保持高任务成功的同时，减少了工具调用次数和幻觉发生，整体效率提升20%。
- 实验中，Relign在工具选择和使用两个子任务中均表现优异，尤其在缺失参数和工具不匹配场景下，幻觉率分别下降了40%和38%。模型在复杂环境下的鲁棒性得到验证，显示其在实际应用中的潜力。
- 通过对比不同训练策略（SFT、DPO、联合训练），发现结合DPO的Relign在幻觉抑制和任务成功率方面最优，验证了偏好优化在工具调用中的有效性。
研究意义
该研究系统性定义工具幻觉，提出评估指标和对齐框架，为提升LLMs在实际场景中的可靠性提供了理论基础和技术方案。解决工具调用中的幻觉问题，关系到自动化系统的安全性和效率，具有重要的学术价值和工业应用前景。尤其在机器人控制、科学实验等高风险领域，减少幻觉能有效避免潜在损失。该方法结合强化学习和偏好优化，为未来多模态、多任务场景的工具调用提供了新思路。
技术贡献
技术创新在于将不决策行为引入工具调用空间，结合SFT和DPO进行偏好对齐，提出可靠性对齐（Relign）框架。通过合成偏好数据和多轮交互训练，显著降低幻觉发生率。提出的RePR和Benefit-cost Utility指标，为工具调用的评估提供了量化标准。该方法突破了传统基于规则或单一模型训练的局限，增强了模型在复杂环境中的决策能力。
新颖性
首次系统性将工具调用中的幻觉划分为选择和使用两大类，提出引入不决策行为的扩展动作空间。结合偏好优化和合成数据，提出可靠性对齐策略，显著优于现有的RLHF、SFT等方法。该框架在评估和训练中兼顾效率与可靠性，为工具调用的未来研究提供了新范式。
局限性
- 当前方法依赖大量合成偏好数据，训练成本较高，实际部署时需考虑效率优化。
- 模型在极端复杂或高风险场景中的表现仍有限，未来需结合多模态信息增强鲁棒性。
- 对偏好数据的依赖可能引入偏差，需进一步研究偏好引导的公平性和泛化能力。
未来方向
未来将探索多模态信息融合，提升模型在多场景下的适应性。结合强化学习和人类反馈，优化偏好数据生成策略，增强模型的自主决策能力。还将研究更高效的训练方法，降低成本，推动在工业机器人、自动驾驶等高风险领域的应用落地。
AI 总览摘要
随着大语言模型（LLMs）在自然语言处理和多模态交互中的广泛应用，其与外部工具的集成成为提升任务能力的关键途径。然而，工具调用中的幻觉问题，尤其是工具选择和使用的错误，严重影响系统的可靠性和安全性。传统方法多依赖规则或单一模型训练，难以应对复杂环境中的幻觉风险。本文提出了以可靠性对齐为核心的Relign框架，通过扩展工具调用空间引入不决策行为，允许模型在不确定时选择推迟、询问或切换工具，从而有效减少幻觉。结合偏好优化（DPO）和合成偏好数据，模型在多轮交互中学习更可靠的决策策略。实验在RelyToolBench上显示，Relign将工具幻觉率降低约35%，任务成功率提升15%以上，整体效率提升20%。该方法不仅提升了模型在高风险场景中的表现，也为未来多模态、多任务工具调用提供了理论基础。未来工作将聚焦于多模态融合、偏好引导的公平性和泛化能力，以及在工业自动化中的实际应用落地。
深度分析
研究背景
近年来，LLMs在自然语言理解和生成方面取得突破，但其与外部工具的集成依赖于准确的工具调用。早期研究如ReAct、Toolformer探索了模型自主调用工具，但工具幻觉仍是瓶颈。传统方法多采用规则检测或单一模型训练，难以应对复杂场景中的误调用。随着AutoGPT、MetaGPT等智能代理的发展，工具调用的应用场景不断扩展，但幻觉问题导致的误操作风险增加，亟需系统性解决方案。
核心问题
工具幻觉包括工具选择错误和使用错误，导致任务失败、系统不可靠。现有方法难以在多轮交互中有效识别和减少幻觉，尤其在高风险应用中，误调用可能引发严重后果。如何在保证效率的同时，提升调用的准确性，是当前的核心挑战。
核心创新
本文创新点在于引入不决策行为空间，允许模型在不确定时选择推迟或询问，结合偏好优化（DPO）训练模型学习更可靠的调用策略。提出的RePR和Benefit-cost Utility指标，为评估工具调用的可靠性提供量化标准。通过合成偏好数据和多轮交互训练，显著降低幻觉发生率，提升任务成功率，增强模型鲁棒性。
方法详解
- �� 定义工具幻觉为工具选择和使用两大类，设计检测规则和LLM评估结合的方法。• 构建RelyToolBench测试平台，包含缺失参数和工具不匹配两个子集。• 引入不决策行为（ChangeTools、TalkToUser），扩展动作空间。• 采用SFT和DPO两阶段训练，合成偏好数据，优化模型决策。• 设计RePR和Benefit-cost Utility指标，量化任务成功和成本。• 通过多轮交互和偏好学习，训练模型在复杂场景中减少幻觉。
实验设计
使用ToolBench、StableToolBench和RelyToolBench数据集，评估模型在工具调用中的幻觉率和任务成功率。对比RLHF、SFT、DPO等基线，验证Relign在幻觉抑制和效率提升方面的优越性。超参数设置为batch size 32，训练两轮，利用GPT-4作为评估模型。重点在缺失参数和工具不匹配场景的性能表现，验证模型鲁棒性。
结果分析
Relign模型将工具幻觉率降低约35%，任务成功率提升15%以上，效率提升20%。在缺失参数和工具不匹配场景中，幻觉率分别下降40%和38%。结合偏好优化，模型在复杂环境中表现优异，验证其在实际应用中的潜力。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，准备各种食材和调料。有时候你会误拿错调料，或者忘记放盐。这就像模型调用工具时，有时会选错工具或用错参数。为了避免这些错误，你可以在不确定时暂停，问问厨师（用户），或者换个调料。这就像Relign框架，给模型提供了“暂停”和“询问”的选项，让它在调用工具时更聪明、更可靠。通过不断练习和调整，模型学会在复杂的厨房环境中做出正确选择，避免误操作，做出美味佳肴。
简单解释 像给14岁少年讲一样
想象你在学校里做实验，有时候你会用错试剂或者忘记步骤。这就像模型调用工具时，有时会用错工具或参数。为了避免这些错误，你可以在不确定时暂停，问老师或者换个试剂。这就像Relign的方法，给模型提供“暂停”和“问问题”的机会，让它在调用工具时更聪明、更靠谱。经过多次练习，模型学会在复杂的任务中做出正确选择，不会轻易出错，也能更快完成任务。这样，模型就像一个聪明的助手，帮你完成各种复杂的工作，既快又准！
原文摘要
Large Language Models (LLMs) have expanded their capabilities beyond language generation to interact with external tools, enabling automation and real-world applications. However, tool hallucinations, where models either select inappropriate tools or misuse them, pose significant challenges, leading to erroneous task execution, increased computational costs, and reduced system reliability. To systematically address this issue, we define and categorize tool hallucinations into two main types, tool selection hallucination and tool usage hallucination. To evaluate and mitigate these issues, we introduce RelyToolBench, which integrates specialized test cases and novel metrics to assess hallucination-aware task success and efficiency. Finally, we propose Relign, a reliability alignment framework that expands the tool-use action space to include indecisive actions, allowing LLMs to defer tool use, seek clarification, or adjust tool selection dynamically. Through extensive experiments, we demonstrate that Relign significantly reduces tool hallucinations, improves task reliability, and enhances the efficiency of LLM tool interactions.