核心发现
方法论
本文提出了一种多智能体框架，将任务分解为规划者、执行者和记忆管理者三个角色。规划者负责高层次决策，执行者负责具体任务执行，记忆管理者负责上下文推理。通过强化学习优化规划者，冻结其他组件，利用VLM评估轨迹奖励。
关键结果
- 实验表明，使用Qwen2.5-VL-7B模型，规划者优化后，成功率提高28%，在WebVoyager基准上超过GPT-4o和Gemini-2.5-Pro。
- 在多智能体配置下，Qwen2.5-VL-7B在四个WebVoyager领域的整体成功率从12.3%提升至40.6%。
- 通过对比不同组件的计算分配，发现规划者是性能提升的主要瓶颈。
研究意义
该研究通过将计算资源集中于规划者，显著提高了长时间规划任务的效率和效果。这一方法在学术界和工业界都具有重要意义，尤其是在需要复杂决策和长时间推理的任务中。
技术贡献
技术贡献在于提出了一种不平衡的多智能体框架，强调规划者的核心作用，并通过强化学习优化其性能。这与现有的单一模型方法形成鲜明对比，提供了新的工程可能性。
新颖性
这是首次系统地分析多智能体框架中计算分配的重要性，提出了以规划者为中心的优化策略，与传统的均衡计算分配方法相比具有显著创新。
局限性
- 在动态环境中，规划者可能仍会犯错，如过于激进的决策或过早终止。
- 记忆管理的规模对性能影响较小，可能导致在某些复杂任务中信息不足。
未来方向
未来研究可以探索更细粒度的奖励机制，结合步骤级奖励，进一步提升规划者的决策能力。此外，可以研究不同任务类型下的多智能体协作优化。
AI 总览摘要
在复杂任务自动化中，现有的语言模型代理在长时间规划和推理方面表现不佳。为解决这一问题，本文提出了一种增强的多智能体框架，将任务分解为规划者、执行者和记忆管理者三个角色。通过强化学习优化规划者，冻结其他组件，显著提高了任务成功率。
实验结果表明，在WebVoyager、OS控制和工具使用等基准上，集中计算资源于高层次规划的策略带来了稳健且计算效率高的改进。Qwen2.5-VL-7B模型在多智能体配置下的表现超过了GPT-4o和Gemini-2.5-Pro。
尽管取得了显著进展，仍存在一些局限性，如在动态环境中规划者可能会犯错。未来的研究方向包括探索更细粒度的奖励机制和不同任务类型下的多智能体协作优化。
深度分析
研究背景
随着视觉-语言模型（VLMs）的发展，自动化代理在复杂系统操作中展现出强大能力。然而，现有的单一模型在长时间规划和推理方面仍存在不足。为此，研究者们开始探索多智能体系统，通过角色分工提高任务完成效率。
核心问题
长时间规划任务需要在动态环境中进行高层次目标管理和低层次动作执行的平衡。单一模型难以同时在这两方面表现出色，导致在复杂任务中易于失去整体目标。
核心创新
本文的创新在于提出了一种不平衡的多智能体框架，强调规划者的核心作用。通过计算分配分析，发现规划者是性能提升的主要瓶颈，并通过强化学习优化其性能。
方法详解
- �� 采用多智能体框架，将任务分解为规划者、执行者和记忆管理者三个角色。
- �� 规划者负责高层次决策，执行者负责具体任务执行，记忆管理者负责上下文推理。
- �� 通过强化学习优化规划者，冻结其他组件，利用VLM评估轨迹奖励。
实验设计
实验在WebVoyager、OS控制和工具使用等基准上进行，使用Qwen2.5-VL-7B模型进行多智能体配置的性能测试。通过对比不同组件的计算分配，验证了规划者在性能提升中的关键作用。
结果分析
实验结果显示，规划者优化后，Qwen2.5-VL-7B在WebVoyager基准上的成功率提高28%，超过了GPT-4o和Gemini-2.5-Pro。
应用场景
该框架可应用于需要复杂决策和长时间推理的任务，如网页导航、软件控制和API工具使用。其高效的计算分配策略在工业界具有重要应用价值。
局限与展望
尽管取得了显著进展，规划者在动态环境中可能仍会犯错，如过于激进的决策或过早终止。未来研究可以探索更细粒度的奖励机制，结合步骤级奖励，进一步提升规划者的决策能力。
通俗解读 非专业人士也能看懂
想象一个工厂，工厂里有三个工人：规划者、执行者和记忆管理者。规划者就像工厂的经理，负责制定生产计划和目标。执行者是工人，按照经理的计划进行具体操作。记忆管理者则是档案管理员，负责记录和提供过去的生产信息。这个系统通过让经理专注于高层次的决策，工人专注于具体的操作，档案管理员提供必要的信息，来提高工厂的生产效率。
简单解释 像给14岁少年讲一样
想象你在玩一个超复杂的游戏，需要同时管理很多角色。你有一个超级聪明的队长，他负责制定策略和计划。然后有一个执行者，负责按照队长的计划去打怪。还有一个记忆大师，负责告诉队长之前的战斗经验。这个方法让你在游戏中更容易赢，因为队长可以专注于策略，而不是每个小细节。是不是很酷？
术语表
规划者 (Planner)
负责高层次决策和目标分解的智能体角色。
在多智能体框架中，规划者是核心决策者。
执行者 (Actor)
负责具体任务执行的智能体角色。
执行者根据规划者的指令进行操作。
记忆管理者 (Memory Manager)
负责上下文推理和信息管理的智能体角色。
记忆管理者提供规划者所需的历史信息。
强化学习 (Reinforcement Learning)
通过奖励机制优化智能体决策的学习方法。
用于优化规划者的性能。
视觉-语言模型 (Vision-Language Model)
结合视觉和语言信息进行推理的模型。
用于评估轨迹奖励。
开放问题 这项研究留下的未解疑问
- 1 如何在动态环境中进一步优化规划者的决策能力？
- 2 在不同任务类型下，多智能体框架的协作优化策略是什么？
应用场景
近期应用
网页导航
通过多智能体框架，提高网页导航任务的自动化效率。
远期愿景
复杂系统自动化
在工业界应用多智能体框架，实现复杂系统的高效自动化。
原文摘要
Language model (LM)-based agents have demonstrated promising capabilities in automating complex tasks from natural language instructions, yet they continue to struggle with long-horizon planning and reasoning. To address this, we propose an enhanced multi-agent framework that decomposes automation into three roles: a planner for high-level decision-making, an actor for task execution, and a memory manager for contextual reasoning. While this modular decomposition aligns with established design patterns, our core contribution lies in a systematic compute-allocation analysis, revealing that planning is the dominant factor influencing task performance. Execution and memory management require significantly less compute and model capacity to achieve competitive results. Building on these insights, we introduce a planner-centric reinforcement learning approach, which exclusively optimizes the planner using trajectory-level rewards from a VLM-as-judge, while freezing the other components. Extensive experiments on benchmarks spanning web navigation, OS control, and tool use demonstrate that concentrating model capacity and learning on high-level planning yields robust and compute-efficient improvements in long-horizon agent automation. Our code is publicly released.