核心发现
方法论
采用基于Python代码执行和GPT-4模拟用户反馈的评估框架，整合 reasoning、coding、decision-making等多样数据集，筛选出586个具有代表性实例，设计多轮交互场景，评估20个开源与闭源LLMs的多轮任务解决能力。通过不同交互轮数（k=1-5）分析工具辅助和语言反馈对性能的影响，结合回归分析衡量性能提升率。
关键结果
- 所有模型在引入工具和自然语言反馈后均表现出性能提升，工具每轮提升1-8%，自然语言反馈提升2-17%。
- 单轮表现优异不代表多轮性能优越，部分模型在单轮表现较差但多轮交互中获益明显。
- 开源模型在多轮交互中明显落后于闭源模型，最高开源模型在引入反馈后成功率仍低于闭源模型8.7%。
- SIFT和RLHF训练方式在多轮任务中普遍削弱模型能力，部分模型如Vicuna-7B和Lemur-70B在多轮中表现逆势提升。
研究意义
该研究填补了多轮交互评估的空白，强调工具和自然语言反馈在实际应用中的重要性，为推动LLMs在复杂任务中的应用提供了量化指标。尤其对开源社区具有指导意义，有助于弥补当前多轮人类评估资源不足的问题，促进模型在真实场景中的性能提升。
技术贡献
提出结合Python工具调用和GPT-4模拟用户反馈的多轮评估框架，整合多源数据集，设计多轮交互场景，系统分析不同训练方式对多轮能力的影响。引入回归模型衡量工具和反馈的性能提升，揭示训练策略对多轮性能的潜在负面影响，提供模型反馈能力的定量评估方法。
新颖性
首次系统性评估LLMs在多轮交互中利用工具和自然语言反馈的能力，提出多轮场景下的性能指标和评估框架，揭示SIFT和RLHF在多轮任务中的潜在弊端，丰富了多轮交互研究的理论体系。
局限性
- 评估依赖模拟用户反馈，可能与真实用户反馈存在差异，影响结果的外推性。
- 多轮交互场景虽丰富，但仍未涵盖所有复杂任务类型，未来需扩展多样性。
- 模型性能受限于硬件和API调用成本，限制大规模实证研究的普及。
未来方向
未来可结合真实用户反馈进行验证，扩展多轮场景的多样性，探索模型在更复杂、多模态任务中的多轮能力，优化训练策略以增强多轮交互性能，推动多轮评估标准的行业采纳。
AI 总览摘要
在人工智能快速发展的背景下，评估大规模语言模型（LLMs）在复杂任务中的多轮交互能力成为研究热点。传统评测多偏重单轮输入输出，忽视了实际应用中用户与模型、模型与工具之间的动态互动。为此，Wang等提出了MINT基准，专注于多轮交互中的工具利用和自然语言反馈能力。
MINT通过模拟用户提供的自然语言反馈（由GPT-4生成）和调用Python工具，构建了一个逼真的多轮交互环境。结合 reasoning、coding、decision-making等多源数据集，筛选出586个具有代表性的实例，确保评估的效率与代表性。该框架允许对20个不同类型的开源与闭源模型进行系统评估，分析其在不同交互轮数（k=1-5）下的性能变化。
实验结果显示，所有模型在引入工具和反馈后均获得显著提升，性能提升范围在2%至17%。值得注意的是，单轮优异表现并不必然转化为多轮优势，部分模型在多轮中表现更佳。此外，开源模型在多轮交互中明显落后于闭源模型，最高开源模型仍低于闭源模型8.7%。令人惊讶的是，SIFT和RLHF训练方式在多轮任务中普遍削弱模型能力，部分模型如Vicuna-7B和Lemur-70B反而在多轮中表现逆势提升。
该研究不仅为多轮交互评估提供了量化工具，也揭示了训练策略对模型多轮能力的潜在影响。未来，结合真实用户反馈、扩展多样化场景，将进一步推动LLMs在复杂、多轮任务中的应用落地，为行业提供更可靠的性能指标和优化路径。
深度分析
研究背景
近年来，随着LLMs如GPT、LLaMA等的崛起，模型在自然语言理解和生成方面取得突破。早期研究多关注单轮任务性能，如问答和文本生成，代表工作包括GPT系列、BERT、T5等。随后，研究逐渐转向多轮交互，旨在模拟更贴近实际应用的场景，如对话系统和复杂推理。现有评估多偏重单轮指标，缺乏对多轮交互能力的系统衡量。部分研究引入工具调用（如Wang et al., 2024）和用户反馈（如Shridhar et al., 2020），但缺乏统一的评估框架和标准。多轮交互的挑战在于模型如何有效利用工具信息、理解连续上下文，以及从用户反馈中不断优化回答。
核心问题
当前大部分评估体系忽视了多轮交互中的动态信息利用和用户反馈的作用，导致模型在实际应用中的表现与评测结果存在偏差。特别是在复杂任务中，模型需多轮推理、工具调用和反馈整合，单轮指标难以反映其真实能力。此外，训练策略如SIFT和RLHF虽提升单轮表现，但在多轮场景中效果未明，甚至可能削弱模型的持续交互能力。解决这一问题对于推动模型在真实场景中的应用具有重要意义。
核心创新
本研究提出了结合Python工具调用和GPT-4模拟用户反馈的多轮评估框架，首次系统性量化模型在多轮交互中的工具利用和反馈能力。设计了多轮场景，涵盖reasoning、coding、decision-making任务，筛选出代表性实例，确保评估的科学性和实用性。引入回归分析衡量工具和反馈带来的性能提升，揭示训练策略对多轮能力的影响，为模型优化提供新思路。
方法详解
- �� 构建多轮交互场景：模型在每轮中可调用Python工具或提出解决方案，模拟用户反馈由GPT-4生成。
- �� 数据集整合：从8个公开数据集筛选出586个复杂、多轮依赖实例，确保任务难度和代表性。
- �� 评估流程：在不同交互轮数（k=1-5）下，测量模型成功率（SR），利用线性回归分析每轮的性能提升。
- �� 反馈机制：模型可接收GPT-4生成的自然语言反馈，评估其利用反馈的能力。
- �� 训练影响分析：比较SIFT、RLHF等训练方式对多轮性能的影响，揭示潜在弊端。
实验设计
采用多源数据集，评估20个模型（包括OpenAI、Anthropic、LLaMA、Vicuna等），在不同交互轮数下测定成功率。通过回归分析计算每轮性能提升率，比较开源与闭源模型差异。引入自然语言反馈，分析模型利用反馈的效果。还验证了GPT-4模拟反馈的有效性，进行人类评估确认其质量。实验设计确保公平性和可重复性，控制交互轮数和模型参数。
结果分析
所有模型在引入工具和反馈后均表现出性能提升，工具每轮提升1-8%，自然语言反馈提升2-17%。开源模型普遍落后于闭源模型，最高开源模型成功率仍低于闭源8.7%。SIFT和RLHF训练方式在多轮场景中表现不佳，部分模型如Vicuna-7B在多轮中反而表现更优。实验还揭示了模型在格式遵循和数据Artifact方面的不足，为未来优化提供方向。
应用场景
该评估框架适用于模型开发者优化多轮交互能力，特别是开源社区，可借助此工具检测模型在复杂任务中的实际表现。可应用于对话系统、智能助手、自动推理等场景，推动模型在真实环境中的部署。未来还可结合用户反馈持续改进模型交互策略，提升用户体验。
局限与展望
评估依赖模拟用户反馈，可能与真实用户偏差较大，影响外推性。多轮场景虽丰富，但仍未涵盖所有复杂任务类型，未来需扩展多样性。模型性能受硬件和API调用成本限制，限制大规模实证研究的推广。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭，厨师（模型）需要按照食谱（任务）一步步完成菜肴。单次尝试可能做得不错，但如果厨师能多次尝试、借助工具（如电饭煲、搅拌机）和听取厨师长（用户）的建议，菜肴会更好。这个研究就像在厨房里测试厨师的多次表现，看看他们是否能通过不断试验和听取建议，做出最美味的菜。模型就像厨师，工具是厨房设备，反馈是厨师长的建议。通过模拟多轮互动，研究评估厨师（模型）是否能借助工具和建议不断改进，最终做出令人满意的菜肴（解决复杂任务）。
简单解释 像给14岁少年讲一样
想象你在学校里学习做手工艺品，老师（模型）需要多次尝试才能做出漂亮的作品。有时候，老师可以用工具（剪刀、胶水）帮助自己，也可以听老师的建议（反馈）来改进。这个研究就像在观察老师是否能通过多次尝试、用工具和听建议，做出更好的作品。科学家们设计了一个模拟场景，让模型像老师一样不断尝试，用工具，听建议，看看能不能做得更好。结果发现，模型用工具和听建议都能让表现提升不少，但用得不好或不听建议也会影响效果。这个研究帮助我们理解，未来让AI更聪明、更会和人合作的方法。
原文摘要
To solve complex tasks, large language models (LLMs) often require multiple rounds of interactions with the user, sometimes assisted by external tools. However, current evaluation protocols often emphasize benchmark performance with single-turn exchanges, neglecting the nuanced interactions among the user, LLMs, and external tools, while also underestimating the importance of natural language feedback from users. These oversights contribute to discrepancies between research benchmark evaluations and real-world use cases. We introduce MINT, a benchmark that evaluates LLMs' ability to solve tasks with multi-turn interactions by (1) using tools and (2) leveraging natural language feedback. To ensure reproducibility, we provide an evaluation framework where LLMs can access tools by executing Python code and receive users' natural language feedback simulated by GPT-4. We repurpose a diverse set of established evaluation datasets focusing on reasoning, coding, and decision-making and carefully curate them into a compact subset for efficient evaluation. Our analysis of 20 open- and closed-source LLMs offers intriguing findings. (a) LLMs generally benefit from tools and language feedback, with performance gains (absolute, same below) of 1-8% for each turn of tool use and 2-17% with natural language feedback. (b) Better single-turn performance does not guarantee better multi-turn performance. (c) Surprisingly, on the LLMs evaluated, supervised instruction-finetuning (SIFT) and reinforcement learning from human feedback (RLHF) generally hurt multi-turn capabilities. We expect MINT can help measure progress and incentivize research in improving LLMs' capabilities in multi-turn interactions, especially for open-source communities where multi-turn human evaluation can be less accessible compared to commercial LLMs with a larger user base.