核心发现
方法论
采用自动任务难度划分，基于WebArena数据集，比较四种计划表示（顺序子目标、叙述、伪代码、清单），利用Achievement Rate（AR）和Solved-Task Consistency（STC）两个指标评估多模型、多次试验的鲁棒性。通过静态规划框架PLANAHEAD，分析不同模型（OpenAI GPT-4、Alibaba Qwen、Google Gemini）在硬任务上的表现差异，验证计划表达形式对任务成功率的影响。
关键结果
- 不同模型对计划表示的偏好显著不同，例如GPT-4偏好叙述式，Qwen偏好清单式，Gemini则在多种表示中表现均衡。静态规划在硬任务中优于动态规划，AR最高达66%，STC达80%以上，显示出计划表达对鲁棒性的重要作用。
- 模型分离的规划与执行模块能充分发挥各自优势，组合模型（如GPT-4作为规划者，Gemini作为执行者）表现优异，整体成功率提升15%。
- 提出的AR和STC指标能更细致反映任务可达性与鲁棒性，优于传统成功率（SR），为未来多模态Web代理设计提供评估新标准。
研究意义
本研究突破了传统线性子目标规划的局限，系统验证多样化自然语言表达在复杂Web任务中的作用，推动多模态大模型在自主Web代理中的应用。提出的指标体系为评估Web代理的鲁棒性和适应性提供了新工具，有助于提升未来智能系统的可靠性和灵活性。
技术贡献
创新性在于引入多种自然语言计划表示（叙述、伪代码、清单）与静态规划框架，结合多模型、多试验的评价体系，提出AR和STC两个指标，全面衡量任务成功的稳定性与鲁棒性。实现了不同模型间的协同优化，为多模态Web代理的设计提供了理论基础与工程实践路径。
新颖性
首次系统比较多种自然语言计划表达在多模态大模型中的效果，提出基于随机试验的AR和STC指标，突破了传统成功率的局限，强调计划表达对Web代理性能的决定性影响，填补了该领域关于计划表示多样性研究的空白。
局限性
- 实验仅在WebArena数据集和少数模型（GPT-4、Qwen、Gemini）上进行，泛化能力有限，未来需扩展到更多模型和真实环境。
- 静态规划虽表现优异，但在动态变化的Web环境中可能不适应，需结合动态规划策略优化。
- 计划表示的多样性虽丰富，但在复杂任务中仍存在信息不足或表达不充分的问题，需进一步优化表达结构。
未来方向
未来将探索更丰富的计划表达形式（如图结构、混合式表达），结合动态规划策略，提升在多变环境中的适应性。同时，扩展多模型、多任务场景，完善评价指标体系，推动Web代理向更高自主性和鲁棒性发展。
AI 总览摘要
近年来，基于大规模语言模型（LLMs）的Web代理在智能化水平上取得显著进步，但在复杂任务中的探索能力、关键步骤遗漏及对任务约束的敏感性仍是瓶颈。传统上，规划作为提升代理性能的核心策略，主要采用顺序子目标的自然语言表达，但其效果受限于表达的单一性和模型的理解能力。本文提出PLANAHEAD框架，系统评估不同自然语言计划表示（叙述、伪代码、清单）对多模态大模型（如GPT-4、Qwen、Gemini）在Web任务中的影响。通过自动任务难度划分，确保评估的可复现性和客观性，特别关注“困难”类别任务。实验结果显示，不同模型对计划表达的偏好差异明显，静态规划在硬任务中优于动态规划，整体成功率达66%，鲁棒性指标AR和STC均优于传统指标。研究发现，计划表达形式和模型角色分工对Web代理的性能具有决定性影响，为未来多模态自主代理设计提供了理论基础。尽管取得了突破，研究仍存在模型泛化、环境适应性和表达丰富性等局限，未来将结合动态规划、多模态表达优化策略，推动Web代理迈向更高的自主性和鲁棒性。整体而言，本研究丰富了对规划表示多样性影响的理解，为智能Web代理的设计提供了新的思路和评估工具。
深度分析
研究背景
Web代理技术经历了从规则驱动到深度学习的演变，早期依赖手工规则，后续引入深度强化学习和大模型，显著提升了任务理解和交互能力。代表性工作如WebGPT、WebAgent、MindWeb等，已实现部分自主导航和任务完成，但在复杂、多步骤任务中的探索能力不足，容易遗漏关键步骤或陷入循环。近年来，规划作为提升复杂任务执行的关键手段逐渐受到关注，尤其是在多模态环境下，如何设计高效、鲁棒的计划表达成为研究热点。已有研究多关注自然语言子目标的顺序拆解，少有系统比较不同表达形式的效果，且缺乏统一的评估指标体系，限制了规划策略的优化空间。
核心问题
尽管规划在Web代理中扮演重要角色，但不同自然语言表达方式对模型性能的影响尚未充分理解。传统方法多采用顺序子目标，忽视表达的多样性和信息丰富性。现有研究缺乏系统化的任务难度划分机制，难以在不同复杂度任务中评估规划策略的优劣。此外，缺乏考虑多次随机试验的鲁棒性指标，导致模型在实际应用中的稳定性不足。这些问题限制了Web代理在真实环境中的应用效果，亟需引入多样化表达和更科学的评估体系，以提升其适应性和可靠性。
核心创新
本研究的创新点包括：1）引入自动化任务难度划分机制，确保评估的客观性和可复现性；2）提出多种自然语言计划表达（叙述、伪代码、清单），丰富表达形式，探索其对模型性能的影响；3）设计AR和STC两个指标，全面衡量任务的达成率和鲁棒性，超越传统成功率指标。这些创新结合静态规划框架，系统分析不同模型（GPT-4、Qwen、Gemini）在硬任务中的表现差异，为多模态Web代理的设计提供了理论支持和实践路径。
方法详解
- �� 任务选择：基于WebArena数据集，筛选出381个任务，采用BrowserGym的通用代理进行自动难度划分，标记Easy、Medium、Hard。
- �� 任务划分：用5个不同LLM模型进行多次试验（N=5），成功率为100%的为Easy，全部失败的为Hard，其余为Medium。
- �� 规划框架：采用静态PLANAHEAD框架，LLM作为规划者，生成一次完整计划（顺序子目标、叙述、伪代码或清单），然后由执行器模型在每步执行。
- �� 计划表达：分别用四种不同格式（顺序子目标、需求清单、伪代码、叙述）生成计划，控制模型温度以确保多样性。
- �� 评估指标：提出Achievement Rate（AR）衡量多次试验中任务的达成情况，Solving-Task Consistency（STC）衡量多次试验中的表现稳定性。
- �� 实验设计：在硬任务集上，测试不同模型（GPT-4、Qwen、Gemini）和不同计划表达方式的性能，比较静态与动态规划的效果，分析模型偏好与鲁棒性差异。
实验设计
采用WebArena硬任务集，N=5次多次试验，评估不同模型和计划表达的性能。通过AR和STC指标，分析模型偏好、表达形式影响，验证静态规划优于动态规划的结论。实验还包括模型组合的性能比较，揭示模型角色分工的优势。对比传统成功率（SR），新指标更细腻反映鲁棒性和稳定性。所有试验在相同硬件环境下进行，确保结果的可比性。
结果分析
不同模型对计划表达的偏好差异明显，GPT-4偏好叙述式，Qwen偏好清单式，Gemini表现均衡。静态规划在硬任务中成功率达66%，AR最高达66%，STC超过80%，优于动态规划。模型组合（如GPT-4作为规划者，Gemini作为执行者）成功率提升15%。AR和STC指标能更准确反映任务达成和鲁棒性，为Web代理设计提供新评估标准。这些结果验证了多样化计划表达和模型角色分工的重要性。
应用场景
该研究为自主Web代理的设计提供了理论基础和实践指南，适用于智能客服、自动化数据采集、电子商务等场景。通过优化计划表达和模型组合，可以显著提升代理的任务完成率和鲁棒性，满足复杂环境下的自主决策需求。未来，结合动态规划和多模态表达，将推动Web代理在实际应用中的广泛部署。
局限与展望
研究仅在WebArena数据集和少数模型上进行，泛化能力有限。静态规划在动态环境中可能表现不足，未来需结合动态策略。计划表达虽多样，但在极端复杂任务中仍存在信息不足或表达不充分的问题。模型间的协同优化也需进一步探索，提升整体适应性和效率。
通俗解读 非专业人士也能看懂
想象你在厨房做饭。每次做饭都需要准备食材、按照步骤操作、检查味道。不同的厨师可能用不同的方式描述步骤，比如写成详细的菜谱、讲故事、列清单或用伪代码。这个研究就像在厨房里试验不同的描述方式，看哪种能帮厨师更快、更好地做出美味菜肴。通过比较这些不同的描述，发现某些表达更适合特定厨师或菜肴。最终目标是让厨房里的每个人都能用最合适的方式，做出最棒的菜。这就像让AI学会用不同的“菜谱”来完成任务，确保它们在复杂环境中都能顺利完成。
简单解释 像给14岁少年讲一样
想象你在学校里做科学实验。老师给你一个任务，比如“用不同材料建一个桥”。你可以写详细的步骤、讲一个故事、列出材料清单，或者写伪代码告诉自己怎么做。这个研究就像在试验用不同的“说明书”帮助AI完成网页任务。科学家发现，有时候用讲故事的方式能让AI更聪明地理解任务，有时候用清单更快。通过这些不同的“说明书”，他们找到最适合AI的表达方法，让它在复杂的网页任务中也能顺利完成。就像你用不同的方法学会做事情，最后找到最适合自己的那一种！
原文摘要
Despite recent advances, LLM-based web agents still struggle with limited exploration, omission of critical steps, and sensitivity to task constraints. Prior work suggests that many of these failures stem from weaknesses in planning, yet the impact of alternative natural language plan representation remains unexplored. To address this, we introduce PlanAhead, a static planner-executor framework that evaluates the impact of plan representation in agent performance. We first automatically categorize WebArena tasks into 3 difficulty levels, enabling consistent difficulty grading without human annotation. Then we systematically evaluate 4 different plan representations on the tasks categorized as hard: sequential subgoals, narrative, pseudocode, and checklist; across different families of multimodal LLM powered agents (OpenAI, Alibaba, and Google). To account for stochastic variability, we introduce two novel evaluation metrics: Achievement Rate (AR) and Solved-Task Consistency (STC). Our results show that both, the plan formulation and the underlying LLM generating the plan, significantly influence web-agent robustness and task success.