核心发现
方法论
本文提出的PEEU框架由两个核心阶段组成：自主环境探索和后见经验利用。在探索阶段，模型通过目标驱动的探索树构建，自动设定目标并在未熟悉的网页环境中进行交互，生成轨迹数据。利用阶段，模型从轨迹中提取原子经验，通过逆向对齐和严格约束，合成高层次、严格匹配的训练数据。具体算法包括基于GPT-4的目标设定和轨迹生成，以及利用SFT和GRPO进行策略训练。该方法强调高层任务的构建和经验的利用，有效提升模型的跨网站泛化能力。
关键结果
- 在七个未见网站的真实网页导航任务中，7B模型采用PEEU方法达成30.6%的成功率，显著优于传统原始训练模型的7.8%，同时超越了体量更大的Qwen2.5-VL-32B模型的22.7%。在不同模型规模（3B和7B）和数据规模（0.1k和2k轨迹）下，PEEU均表现出优异的泛化能力，验证了高层任务和经验合成的重要性。
- 通过TDHAF分析框架，发现掌握低层原子技能不足以保证高层任务的规划能力，高层任务训练显著增强模型的OOD（out-of-domain）泛化能力，尤其在复杂多层次任务中表现优越。
- 在不同任务层级的泛化实验中，模型在ID（in-domain）任务中表现出从底向上的泛化能力有限，但在高层任务训练后，能更有效地向低层任务迁移，且在OOD场景中高层训练的模型表现出更强的多层次泛化能力。
研究意义
本研究突破了小型MLLMs在复杂任务规划中的局限，强调高层任务和经验回溯在跨网站泛化中的核心作用，为网页自动化、智能助手等应用提供了新的技术路径。通过引入自主探索和逆向对齐机制，有效缓解了数据偏差和任务错配问题，推动了多模态学习在实际场景中的落地。该方法不仅提升了模型的任务理解和执行能力，也为未来多层次、多任务的智能系统设计提供了理论基础和实践范例。
技术贡献
本文的主要技术贡献在于提出PEEU框架，结合自主探索和后见经验利用，创新性地实现了高层任务的逆向对齐和严格约束。引入的轨迹合成机制和经验融合策略，有效提升了模型在OOD场景中的泛化能力。结合TDHAF分析框架，系统评估了不同任务层级的泛化表现，为多层次任务规划提供了理论支持。此外，利用SFT和GRPO优化训练流程，确保在有限数据条件下的高效学习。实验验证显示，该方法在多个真实网页导航任务中优于现有技术，展现出强大的实用潜力。
新颖性
本研究首次系统性结合自主环境探索、逆向轨迹对齐与高层任务构建，提出PEEU框架，突破了传统以原子操作或粗粒度任务训练的局限。特别是在多模态网页导航中，强调高层任务的构建和经验利用，显著提升模型的跨网站泛化能力。这一创新在多模态学习和任务规划领域具有开创性意义，为未来复杂环境下的自主智能体设计提供了新的思路。
局限性
- 当前方法依赖于GPT-4等大模型进行目标设定和轨迹总结，存在较高的计算成本，限制了在资源有限环境中的应用。
- 在极端复杂或动态变化的网页环境中，探索树的构建和经验的逆向对齐可能面临挑战，影响模型的稳定性和泛化能力。
- 模型在高层任务的逆向对齐过程中，仍可能受到环境信息不完整或噪声的影响，导致训练数据的偏差，影响最终性能。
未来方向
未来研究将聚焦于降低模型的计算成本，探索更高效的目标设定和轨迹生成机制。同时，计划引入多模态信息融合技术，增强模型对动态网页环境的适应能力。此外，将结合强化学习和模仿学习，优化高层任务的逆向对齐策略，提升模型在极端复杂场景中的表现。最后，期待将该框架扩展到更广泛的自动化任务和多智能体协作场景，推动自主系统的智能化发展。
AI 总览摘要
网页自动化作为人工智能应用中的重要方向，旨在让机器自主理解和操作复杂的网页界面。传统方法多依赖于预定义规则或大量标注数据，难以应对多样化和变化频繁的网页环境。近年来，随着多模态大模型的发展，研究者开始尝试利用少量数据实现跨网站的任务规划能力，但面临规划能力弱和泛化不足的挑战。
本文提出的PEEU（Planning Experience Exploration and Utilization）框架，旨在通过自主探索和逆向轨迹对齐，增强小型多模态模型的任务规划能力。该方法包括两个核心阶段：探索阶段，模型在未见网页中自主设定目标，构建探索树，采集交互轨迹；利用阶段，从轨迹中提取原子经验，通过逆向对齐和严格约束，合成高层次、严格匹配的训练数据。此机制有效缓解了传统粗粒度任务训练中的错配问题，提升了模型的泛化能力。
技术上，PEEU结合了GPT-4的目标设定、轨迹生成能力，以及SFT和GRPO的策略优化，形成了一个端到端的训练流程。通过在七个真实网页导航任务中的实验，7B模型采用PEEU达成30.6%的成功率，远超未利用经验的模型和更大规模模型，验证了高层任务和逆向经验的重要性。实验还通过TDHAF分析框架，系统评估了不同任务层级的泛化能力，发现高层任务训练显著增强了模型的多层次、多场景适应性。
这一研究不仅推动了网页自动化技术的边界，也为多模态学习和自主智能体设计提供了新思路。未来，研究将致力于降低模型成本、提升环境适应性，以及拓展到更复杂的动态场景中，推动智能系统的自主化和普及化。
深度分析
研究背景
网页自动化作为人工智能的重要应用场景，经历了从基于规则的自动化工具到基于深度学习的智能代理的演变。早期方法依赖于手工编码的规则和模板，缺乏泛化能力。随着深度学习的发展，尤其是多模态大模型（如GPT系列、BERT、CLIP等）在理解和生成多模态内容方面取得突破，网页任务自动化逐渐向智能化迈进。近年来，研究者尝试结合强化学习、模仿学习和迁移学习，提升模型在不同网页环境中的适应性。代表性工作包括Wang等（2024a）、Ning等（2025）提出的多模态网页导航系统，以及Li等（2025d）提出的任务分解策略。这些方法在特定任务上取得一定成功，但在跨网站泛化和复杂任务规划方面仍存在瓶颈。尤其是在数据有限、环境多变的实际场景中，模型的规划能力和泛化能力不足，限制了其实际应用推广。
核心问题
当前网页自动化模型普遍面临规划能力不足、泛化能力有限的问题。具体而言，模型在处理复杂、多层次任务时，缺乏有效的任务分解和经验利用机制，导致在新网站或新任务场景中表现不佳。传统方法多依赖于预定义的规则或大量标注数据，难以适应环境的动态变化。此外，粗粒度任务训练容易出现轨迹与目标不匹配的问题，影响模型学习的效率和效果。如何设计一种既能自主探索环境，又能高效利用过去经验，提升模型的跨网站泛化能力，成为亟待解决的核心问题。这不仅关系到网页自动化的实用性，也影响到多模态学习和自主智能体的未来发展。
核心创新
本研究的核心创新在于提出PEEU框架，结合自主探索和逆向轨迹对齐，系统性地构建高层次、严格匹配的训练数据。具体创新点包括：
- �� 自主目标设定：模型在未见网页中自主设定探索目标，构建探索树，增强环境交互能力。
- �� 后见经验利用：通过逆向对齐轨迹，合成高层次任务，解决传统粗粒度任务中的错配问题。
- �� 任务分解分析：引入TDHAF，系统分析不同层级任务的泛化能力，为多层次任务规划提供理论支撑。
- �� 多模型、多数据规模验证：在7B和3B模型上，分别在0.1k和2k轨迹数据下，验证了方法的普适性和有效性。
- �� 实验结果显示，采用PEEU的模型在跨网站任务中成功率显著提升，验证了高层任务和经验合成的必要性。
方法详解
- �� 探索阶段：模型通过输入网页URL，利用GPT-4自动设定目标，生成任务列表。随后，模型在环境中自主交互，构建探索树，采集轨迹数据。
- �� 轨迹采集：在探索树中，模型执行动作，记录状态变化，形成轨迹序列。
- �� 经验提取：利用GPT-4比较轨迹前后状态，提取原子经验（如点击、滚动、输入等操作的具体表现）。
- �� 逆向对齐：将提取的原子经验融合，构建高层次、严格约束的任务描述。
- �� 训练阶段：利用SFT和GRPO算法，将高层任务和轨迹数据结合，训练策略模型。
- �� 评估：在七个真实网页导航任务中，采用轨迹成功率作为指标，验证模型的泛化能力。
- �� 实验设置：在不同模型规模和数据规模下，保持轨迹数量一致，确保公平性，使用GPT-4和Qwen系列模型进行目标设定和总结。
实验设计
实验采用真实网页导航任务，包括购物、搜索、地图等多类别网站。训练数据来自0.1k和2k轨迹，测试在七个未见网站上进行。基线模型包括Atomic-Prompt、Trajectory-Prompt、Coarse和Atomic方法。评价指标为轨迹成功率。训练采用SFT和GRPO算法，参数调优确保公平性。通过对比不同模型规模和数据量，验证PEEU在跨网站泛化中的优势。实验还结合TDHAF分析不同任务层级的泛化能力，验证高层任务训练的有效性。结果显示，PEEU在7B模型中达30.6%的成功率，远超传统方法和大模型，验证了高层任务和逆向经验的重要性。
结果分析
- �� 在七个真实网页任务中，7B模型采用PEEU达成30.6%的成功率，显著优于未利用经验的模型（7.8%）和更大模型Qwen2.5-VL-32B（22.7%）。
- �� 在不同模型规模（3B、7B）和数据规模（0.1k、2k）下，PEEU均表现出优异的泛化能力，验证了高层任务的有效性。
- �� TDHAF分析显示，高层任务训练能显著增强模型的OOD（out-of-domain）多层次泛化能力，特别是在复杂多任务场景中表现优越。
- �� 实验还发现，逆向对齐和严格约束机制能有效缓解轨迹与目标错配问题，提高模型的任务理解和执行能力。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。每次做菜，你会先看食谱（目标设定），然后根据食谱准备食材、切菜、调味（探索和操作）。有时候，你会发现自己忘记了步骤，或者做错了某个环节，于是你会回头看看之前的经验（经验利用），总结哪些步骤做得好，哪些需要改进。这个过程就像让厨房变得更聪明，能自己规划做菜流程，甚至在不同的厨房都能做出好菜。模型也是这样，它通过不断试错、总结经验，学会在不同网页环境中自动操作，变得越来越聪明。
简单解释 像给14岁少年讲一样
想象你在学校的图书馆找书。刚开始，你不知道每个书架在哪里，也不知道怎么快速找到想要的书。于是，你试着在不同的书架间走动，记住哪些书架有你需要的书，哪些没有。每次找到书后，你会记下来，下次就知道该去哪个书架。这就像模型在学习网页操作一样，它会自己探索网页，记住哪些操作能帮你找到想要的内容，然后用这些经验在新网页上也能快速找到目标。通过不断试错和总结经验，它变得越来越聪明，能在不同的网页上自主完成任务。
术语表
多模态学习 (Multimodal Learning)
指模型同时处理和理解多种类型的数据（如图像、文本、声音），以实现更丰富的感知和推理能力。技术上结合多模态编码和融合机制。
在论文中，模型结合视觉和文本信息进行网页导航和任务规划。
逆向轨迹对齐 (Hindsight Experience Alignment)
一种利用已采集轨迹逆向匹配目标任务的方法，通过调整任务描述，使轨迹严格符合目标约束，提升训练数据质量。
用于构建高层次、严格匹配的训练样本，缓解轨迹与目标错配问题。
TDHAF (Task Decomposition Hierarchical Analysis Framework)
一种分析模型在不同任务层级（低、中、高）上的泛化能力的框架，帮助理解模型的多层次任务规划表现。
用于评估模型在不同任务粒度和域内外泛化中的表现差异。
SFT (Supervised Fine-Tuning)
在预训练模型基础上，利用标注数据进行微调，以提升特定任务性能的训练策略。
在本文中用于训练策略模型。
GRPO (Guided Reinforcement Policy Optimization)
结合强化学习和策略优化技术，通过引导奖励提升策略训练效果的方法。
用于模型策略优化，增强任务执行能力。
开放问题 这项研究留下的未解疑问
- 1 尽管PEEU在网页导航任务中表现优异，但在极端复杂或动态变化的网页环境中，探索树的构建和逆向对齐策略的鲁棒性仍需验证。未来需要研究更高效的探索策略和环境建模方法，以应对多变场景。
- 2 目前方法主要依赖于大模型（如GPT-4）进行目标设定和轨迹总结，硬件资源消耗较大，限制了在低资源环境中的应用。如何降低模型依赖，提升效率，是未来的重要方向。
- 3 逆向经验合成在多模态、多任务场景中的适应性尚未充分验证，特别是在多智能体协作或实时交互场景中，模型的泛化能力和稳定性仍需提升。
- 4 对环境信息不完整或噪声敏感的问题仍未得到根本解决，未来需引入鲁棒性增强机制，确保模型在信息缺失或干扰情况下的稳定性。
- 5 如何将PEEU扩展到更广泛的自动化任务（如工业控制、智能制造）中，仍是一个开放问题。跨任务迁移和多任务学习的结合，将是未来研究的重点。
应用场景
近期应用
网页自动化助手
利用PEEU实现跨网站的自动任务执行，帮助用户自动填写表单、搜索信息，降低人工操作成本，提升效率。适用于电商、银行、政府网站等场景。
企业自动化测试
在软件测试中，自动探索网页流程，识别潜在缺陷，提升测试覆盖率。模型只需少量轨迹数据，便能适应不同应用环境。
智能客服与引导
结合网页导航能力，为用户提供智能引导和问题解决方案，提升用户体验，减少人工客服压力。
远期愿景
自主网页操作系统
未来实现全自动化网页操作系统，能自主学习和适应各种网页环境，完成复杂任务，极大提升数字办公和自动化水平。
多场景多智能体协作
将PEEU技术扩展到多智能体系统，实现多机器人或多软件协同完成复杂任务，推动智能制造和智慧城市发展。
原文摘要
Multimodal web agents can assist humans in operating repetitive GUI tasks, where effective task planning is essential for decomposing complex tasks into executable actions. While small open source MLLMs are cost efficient and privacy preserving compared with commercial large models, they suffer from weak planning and limited cross website generalization. To address these limitations, we introduce the planning experience exploration and utilization (PEEU) method, which autonomously explores environments to discover experiences and utilizes hindsight experience to synthesize strictly aligned, high level training data. To quantitatively analyze the generalization behaviors driving this performance, we propose the task decomposition hierarchical analysis framework (TDHAF) to systematically study compositional generalization across three task granularities: low, middle and high levels. Our analysis reveals that mastering low level atomic skills does not guarantee high level planning competence, while high level task training yields stronger OOD generalization. Experiments on real world benchmarks demonstrate PEEU's superior effectiveness: our 7B model achieves 30.6% accuracy, outperforming the much larger Qwen2.5-VL-32B model. These demonstrate constructing hindsight high level tasks and leveraging experiences is crucial for OOD planning abilities of small MLLMs.
参考文献 (20)
Is Your LLM Secretly a World Model of the Internet? Model-Based Planning for Web Agents
Yu Gu, Boyuan Zheng, Boyu Gou 等
Large Language Models for Planning: A Comprehensive and Systematic Survey
Pengfei Cao, Tianyi Men, Wen Liu 等
GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration
Yue Fan, Handong Zhao, Ruiyi Zhang 等
Small Language Models are the Future of Agentic AI
Peter Belcák, Greg Heinrich, Shizhe Diao 等
A Survey of WebAgents: Towards Next-Generation AI Agents for Web Automation with Large Foundation Models
Liang-bo Ning, Ziran Liang, Zhuohang Jiang 等
Building Self-Evolving Agents via Experience-Driven Lifelong Learning: A Framework and Benchmark
Yuxuan Cai, Yipeng Hao, Jie Zhou 等
GUI-G1: Understanding R1-Zero-Like Training for Visual Grounding in GUI Agents
Yuqi Zhou, Sunhao Dai, Shuai Wang 等
RAG-RewardBench: Benchmarking Reward Models in Retrieval Augmented Generation for Preference Alignment
Zhuoran Jin, Hongbang Yuan, Tianyi Men 等
Unveiling the Compositional Ability Gap in Vision-Language Reasoning Model
Tianle Li, Jihai Zhang, Yongming Rao 等
LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models
Yaowei Zheng, Richong Zhang, Junhao Zhang 等
Scaling Web Agent Training through Automatic Data Generation and Fine-grained Evaluation
Lajanugen Logeswaran, Jaekyeom Kim, Sungryull Sohn 等
Unlocking the Future: Exploring Look-Ahead Planning Mechanistic Interpretability in Large Language Models
Tianyi Men, Pengfei Cao, Zhuoran Jin 等
A Troublemaker with Contagious Jailbreak Makes Chaos in Honest Towns
Tianyi Men, Pengfei Cao, Zhuoran Jin 等
GPT-4V(ision) is a Generalist Web Agent, if Grounded
Boyuan Zheng, Boyu Gou, Jihyung Kil 等
GUI-R1 : A Generalist R1-Style Vision-Language Action Model For GUI Agents
Run Luo, Lu Wang, Wanwei He 等
Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models
Yunxin Li, Zhenyu Liu, Zitao Li 等
Agent-RewardBench: Towards a Unified Benchmark for Reward Modeling across Perception, Planning, and Safety in Real-World Multimodal Agents
Tianyi Men, Zhuoran Jin, Pengfei Cao 等
Welcome to the Era of Experience
David Silver, Richard Sutton
ReAct: Synergizing Reasoning and Acting in Language Models
Shunyu Yao, Jeffrey Zhao, Dian Yu 等