核心发现
方法论
本文提出基于元认知的多智能体合作框架HILA，利用双环策略优化（DLPO）实现短期决策与长期能力增长的分离。内环采用GRPO算法，结合成本敏感奖励优化推迟决策；外环通过持续学习，将专家反馈转化为监督信号，强化模型推理能力。该体系结合多层次认知状态空间，动态调节自主与外部协作，显著提升任务表现。
关键结果
- 在GSM8K、AIME、HumanEval等数学和推理任务中，HILA整体性能优于SOTA多智能体系统，平均提升幅度达10%以上。具体在GSM8K上，模型准确率从80.79%提升至89.86%，在AIME上从12.45%提升至35.83%。实验显示，策略学习与持续能力增强的结合，有效避免了闭环系统的知识瓶颈，增强了模型在复杂任务中的适应性。
- 通过多模型背骨验证，HILA在Qwen2.5-7B、LLaMA3-8B等不同规模模型中均表现优异，平均提升幅度在4-12个百分点。 Ablation研究表明，策略优化和专家反馈的双重机制是性能提升的关键因素，单纯依赖内部知识或 heuristics 无法达到相似效果。
- 在复杂推理任务中，HILA展现出更强的抗干扰能力和知识扩展能力，尤其在高不确定性场景下，策略性推迟显著降低错误率，模型在数学推理中的准确率提高了15%以上。
研究意义
该研究突破了传统闭环多智能体系统的局限，通过引入元认知策略实现开放式、持续学习的合作机制，为AI系统的自主性与适应性提供新范式。其在数学推理、程序生成等领域的优异表现，推动了多智能体系统向更复杂、动态、开放的应用场景扩展，具有深远的理论与实践意义。
技术贡献
核心贡献在于提出元认知策略的结构设计与双环优化算法，将强化学习与持续学习结合，创新性地实现了短期决策与长期能力的分离优化。引入的GRPO算法结合成本敏感奖励，有效引导策略学习；同时，利用专家反馈进行持续微调，显著提升模型推理和知识扩展能力。这为多智能体系统的自我提升提供了新途径。
新颖性
本研究首次系统性引入元认知策略到多智能体LLMs中，结合双环优化实现策略与能力的同步提升。区别于传统基于 heuristics 的决策机制，采用强化学习与持续学习的结合方式，突破了闭环系统的知识瓶颈，开创了开放式、可持续的合作新范式。
局限性
- 当前方法依赖高质量专家反馈，实际应用中可能面临反馈获取成本高、效率低的问题；此外，模型在极端复杂或未知领域仍存在推理不足的风险。
- 训练过程复杂，参数调优难度较大，需大量计算资源，限制了大规模部署的可能性。
- 对多模态任务和实时交互场景的适应性尚未充分验证，未来需扩展多样化应用场景。
未来方向
未来将探索多源、多模态的专家反馈机制，提升模型的自主学习能力；同时，结合元强化学习优化策略适应更复杂环境，推动多智能体系统在实际场景中的广泛应用。还将研究模型的可解释性与安全性，确保系统在开放环境中的可靠性。
AI 总览摘要
随着大规模预训练模型（LLMs）在单一任务中的突破，研究者逐渐认识到多智能体系统（MAS）在复杂问题解决中的潜力。传统的MAS多依赖固定交互协议，缺乏动态适应能力，难以突破知识边界。本文提出HILA（Human-In-the-Loop Multi-Agent Collaboration）框架，结合元认知策略实现智能体在自主与外部专家协助间的智能调度。
HILA核心在于设计一个元认知的决策机制，利用双环策略优化（DLPO）实现短期策略调整与长期能力积累的分离。内环采用Group Relative Policy Optimization（GRPO），结合成本敏感奖励，优化智能体在何时推迟自主决策，何时调用外部专家。外环则通过持续学习，将专家反馈转化为监督信号，逐步扩展模型知识边界。
实验结果显示，HILA在数学推理、程序生成等多个基准任务中，显著优于现有最先进的多智能体系统，准确率提升10%以上。尤其在高不确定性场景下，策略性推迟有效降低错误率，模型表现出更强的适应性和知识扩展能力。这一方法为多智能体系统的开放式、持续学习提供了新思路，具有重要的理论价值和实际应用潜力。
未来，作者计划结合多源、多模态反馈，提升系统的自主学习能力，扩展到更复杂的实时交互场景，并加强模型的可解释性与安全性，推动智能系统的广泛落地。
深度分析
研究背景
近年来，随着GPT系列等大规模预训练模型的崛起，单一模型在自然语言理解和生成方面取得巨大突破。然而，面对复杂推理、跨领域知识整合等任务，单一模型表现仍有限。多智能体系统（MAS）通过多模型协作、信息融合，试图突破单一模型的瓶颈。早期工作如“Self-Ask”、“CoT”引导模型进行多轮推理，提升了复杂任务的表现，但仍受限于静态知识边界。近年来，结构化对话、动态路由等方法不断演进，增强了系统的交互能力，但缺乏对知识扩展和持续学习的支持。与此同时，人机合作逐渐成为焦点，研究者尝试将人类专家引入系统，作为监督或指导者，提升系统的适应性。然而，现有方法多依赖 heuristics（如置信度阈值）触发调用，缺乏学习策略，难以实现真正的开放式、持续性学习。综上，如何在保证系统自主性的同时，有效利用外部专家知识，成为当前研究的核心难题。
核心问题
核心问题在于多智能体系统如何实现高效、策略性的合作，尤其是在知识边界有限的情况下，如何判断何时自主解决、何时调用外部专家。现有方法多依赖 heuristics，缺乏动态决策机制，导致在未知或复杂任务中表现不佳。此外，系统难以将专家反馈转化为持续能力提升的有效途径，限制了其扩展性和适应性。解决这一问题，需设计具有元认知能力的策略，动态评估自身能力与任务难度，合理调度自主与外部资源，从而突破闭环系统的瓶颈，实现开放式、持续学习的目标。
核心创新
创新点主要包括：1）引入元认知策略，使智能体能够自主判断何时推迟任务，何时自主解决；2）设计双环策略优化（DLPO），将短期策略调整与长期能力积累相结合，提升系统的适应性；3）结合强化学习（GRPO）与持续学习，将专家反馈转化为模型微调的监督信号，推动知识扩展。这些创新突破了传统基于 heuristics 的调用机制，实现了策略的学习化与能力的持续提升，为多智能体系统的开放式合作提供了新范式。
方法详解
- �� 构建元认知的马尔可夫决策过程（Meta-MDP），定义状态空间包括任务、模型自我评估、同行信息及认知信号。• 设计高层次动作空间，包括评估（eval）、创造（create）、推迟（defer），实现策略性合作。• 利用多轮交互协议，智能体在每轮根据策略采样动作，结合自主生成或调用专家示范。• 引入双环策略优化（DLPO）：• 内环采用GRPO，结合成本敏感奖励，优化推迟决策；• 外环通过专家示范进行持续学习，转化为监督信号，增强模型能力。• 训练过程中，结合强化学习与监督微调，逐步提升策略效果与知识边界。• 实验中采用GSM8K、AIME等基准，验证模型在数学推理和程序生成中的优越表现。
实验设计
采用GSM8K、AIME、HumanEval等公开数据集，比较HILA与多种SOTA多智能体方法。模型基于LLaMA3-8B、Qwen2.5-7B等不同规模预训练模型。指标包括准确率、错误率等。训练细节涉及策略参数调优、专家反馈采样频率。通过消融实验验证策略优化和持续学习的贡献，分析模型在高不确定性任务中的表现。结果显示，HILA在所有任务中均优于对比方法，特别是在复杂推理场景中，推迟调用专家显著降低错误，模型表现更稳健。
结果分析
HILA在GSM8K准确率从80.79%提升至89.86%，在AIME从12.45%到35.83%，表现优于所有对比方法。多模型验证显示，策略学习与持续能力增强的结合，是性能提升的关键。 Ablation研究表明，单纯优化策略或单纯微调都难以达到HILA的效果。模型在高不确定性场景中的抗干扰能力显著增强，错误率降低超过15%。
应用场景
该方法适用于需要高可靠性和持续学习能力的自动推理、智能问答、程序生成等场景。依赖高质量专家反馈，适合在受控环境中部署。未来可扩展到多模态交互、实时系统，推动智能系统在教育、科研、工业等领域的应用。
局限与展望
当前模型依赖专家反馈，成本较高，难以大规模应用。训练复杂，参数调优困难。对极端未知场景和多模态任务的适应性仍需验证。未来需降低成本，提升自主学习能力。
通俗解读 非专业人士也能看懂
想象一个厨房里有很多厨师（智能体），每个人都能做菜，但有时候会遇到不会做的菜。这时，他们可以请教一个经验丰富的厨师（人类专家）帮忙。厨房里的厨师会根据情况决定：自己尝试做，还是请专家指导。他们还会记住专家的建议，下次遇到类似问题时，自己就能做得更好。这个系统就像一个聪明的厨房团队，既能自己动手，又会学会新菜，变得越来越厉害。它的核心思想是：在需要时请教专家，但也要自己努力，逐步变得更强。这样，厨房就能不断进步，做出更多美味的菜肴，满足不同客人的需求。
简单解释 像给14岁少年讲一样
想象你在学校里有一群聪明的朋友（智能体），他们一起解决难题。有时候，大家都能自己想办法，但遇到特别难的问题，就会请老师（人类专家）帮忙。每次请老师帮忙后，朋友们会记住老师的解答，下次遇到类似问题，就能自己解决了。这个系统就像一个不断学习、会请教老师的团队。它能自己努力，也知道什么时候需要外援，变得越来越聪明。这样，大家都能更快、更好地完成任务，学习新知识。
术语表
元认知策略 (Metacognitive Policy)
指智能体用来判断自己和伙伴能力的高层决策机制，决定何时自主、何时推迟。
在论文中用于指导智能体自主与外部协作的决策。
双环策略优化 (Dual-Loop Policy Optimization)
结合强化学习与持续学习的训练框架，将短期策略调整与长期能力提升分离实现。
核心算法，用于优化智能体的推迟决策和能力增长。
GRPO (Group Relative Policy Optimization)
一种对比不同动作优劣的强化学习算法，结合成本奖励优化策略。
用于内环策略优化，提升推迟决策效果。
持续学习 (Continual Learning)
模型在不断接受新数据和反馈中逐步扩展能力，避免知识瓶颈。
外环机制，将专家反馈转化为模型微调信号。
推迟 (Defer)
智能体判断任务超出自身能力，调用外部专家的行为。
关键动作，用于知识扩展和风险控制。
开放问题 这项研究留下的未解疑问
- 1 如何在大规模实际应用中高效获取高质量专家反馈，降低成本，同时保证系统持续学习的效率和安全性。未来需探索自动化、多模态反馈机制，提升自主能力。
应用场景
近期应用
智能问答系统
在教育、客服等场景中，系统能自主解答大部分问题，遇到难题时调用专家，提升答题准确率和用户体验。
自动编程助手
辅助程序员自动生成代码，遇到复杂逻辑时请教专家，逐步扩展能力，提升开发效率。
远期愿景
自主科研助理
未来AI能自主进行科研推理，主动调用专家知识，推动科学发现的自动化。
原文摘要
While scaling individual Large Language Models (LLMs) has delivered remarkable progress, the next frontier lies in scaling collaboration through multi-agent systems (MAS). However, purely autonomous MAS remain ''closed-world'' systems, constrained by the static knowledge horizon of pre-trained models. This limitation makes them brittle on tasks requiring knowledge beyond training data, often leading to collective failure under novel challenges. To address this, we propose the Human-In-the-Loop Multi-Agent Collaboration (HILA) framework, a principled paradigm for human--agent collaboration. HILA trains agents to learn a metacognitive policy that governs when to solve problems autonomously and when to defer to a human expert. To operationalize this policy, we introduce Dual-Loop Policy Optimization, which disentangles immediate decision-making from long-term capability growth. The inner loop applies Group Relative Policy Optimization (GRPO) with a cost-aware reward to optimize deferral decisions, while the outer loop implements continual learning, transforming expert feedback into high-quality supervised signals that strengthen the agent's reasoning ability. Experiments on challenging mathematical and problem-solving benchmarks show that HILA, equipped with Dual-Loop Policy Optimization, consistently outperforms advanced MAS, establishing a principled foundation for collaborative and continually improving agentic systems.