Mobile-R1: Towards Interactive Capability for VLM-Based Mobile Agent via Systematic Training
Mobile-R1通过系统训练提升VLM移动代理的交互能力,显著提高探索与自我纠正能力。
核心发现
方法论
Mobile-R1采用三级层次化课程:格式对齐、策略探索和多轮任务训练。首先,格式对齐阶段通过高质量的行动轨迹样本进行冷启动。接着,策略探索阶段使用可验证的行动反馈来稳定基础执行能力。最后,多轮任务训练阶段在真实环境中进行,促进探索和自我纠正。
关键结果
- Mobile-R1在准确率上达到78.55%,比最佳基线高出2.7个百分点,显示了其在任务成功率上的显著提升。
- 在长尾应用的任务成功率上,Mobile-R1达到了37.40%,比其他模型有明显优势。
- 通过多轮在线强化学习,Mobile-R1展现出从错误状态自我纠正的能力。
研究意义
该研究通过引入系统训练方法显著提升了VLM移动代理的交互能力,解决了现有方法在探索和错误纠正上的不足。特别是在非英语环境中,提供了一个高质量的中文移动数据集,填补了多样化GUI数据的空白。
技术贡献
Mobile-R1提出了一种系统训练方法,结合了格式对齐、策略探索和多轮任务训练,显著提升了代理的探索和自我纠正能力。与现有方法相比,Mobile-R1在任务级别奖励的应用上表现出色,解决了稀疏奖励带来的训练不稳定问题。
新颖性
Mobile-R1首次将三级层次化课程应用于VLM移动代理的训练,结合了可验证的行动反馈和多轮任务训练,显著提升了代理的探索能力和自我纠正能力。
局限性
- 在极端稀疏奖励的环境中,Mobile-R1的训练可能仍然面临挑战。
- 模型在处理复杂的多任务环境时可能需要进一步优化。
未来方向
未来的研究可以探索在更复杂的多任务环境中应用Mobile-R1的方法,并进一步优化其在极端稀疏奖励环境中的表现。
AI 总览摘要
视觉语言模型(VLM)在移动代理中的应用日益广泛,但现有方法在探索和错误纠正方面存在不足。Mobile-R1通过系统训练方法,显著提升了VLM移动代理的交互能力。
Mobile-R1采用三级层次化课程,包括格式对齐、策略探索和多轮任务训练。格式对齐阶段通过高质量的行动轨迹样本进行冷启动,策略探索阶段使用可验证的行动反馈来稳定基础执行能力,多轮任务训练阶段在真实环境中进行,促进探索和自我纠正。
实验结果显示,Mobile-R1在准确率和任务成功率上均优于现有方法,特别是在长尾应用的任务成功率上表现突出。该研究还提供了一个高质量的中文移动数据集,填补了多样化GUI数据的空白,为非英语环境中的研究提供了重要资源。
深度解读
原文摘要
Vision-language model-based mobile agents have gained the ability to understand complex instructions and mobile screenshots, benefiting from reinforcement learning paradigms like Group Relative Policy Optimization (GRPO). However, existing approaches centers on offline training or local action-level rewards often trap agents in local optima, hindering effective exploration and error correction with the environment. Crucially, we find that directly applying task-level rewards often leads to convergence difficulties due to the sparse nature of GUI interactions. To address these challenges, we present \textbf{Mobile-R1}, a systematic training recipe that bridges atomic action execution and strategic task completion. We propose a hierarchical curriculum consisting of three stages: (1) format alignment for reasoning structure, (2) on-policy exploration with verifiable action feedback to ground basic execution, and (3) multi-turn task-level training with realistic environment to unlock exploration and self-correction. This hierarchical strategy effectively bootstraps the agent, significantly enhancing its capability for exploration and self-correction (the ``Eureka'' moments). Furthermore, addressing the critical scarcity of diverse GUI data in non-English ecosystems, we contribute a comprehensive Chinese mobile dataset covering 28 applications with 24,521 high-quality manual annotations, and establish a rigorous benchmark with 500 trajectories. We will open source all resources, including the dataset, benchmark, model weight, and codes: https://mobile-r1.github.io/Mobile-R1/.