核心发现
方法论
SecAgent采用语义上下文机制，将历史截图和操作转化为简洁的自然语言总结，降低计算成本。通过监督和强化学习微调，提升导航性能。
关键结果
- SecAgent在CMGUI基准上达到96.4%的步骤准确率，显著优于同规模模型。
- 在AndroidControl和GUIOdyssey基准上，SecAgent表现优于其他3B模型，接近8B模型。
- 通过消融实验验证语义上下文机制在减少计算开销的同时保持信息完整性。
研究意义
SecAgent通过高效的历史信息表示和中文数据集，解决了多语言数据稀缺和历史表示低效的问题，推动了多语言GUI代理的研究。
技术贡献
提出了一种新的历史信息表示机制，语义上下文机制，显著降低了计算成本，并在中文移动应用中验证了其有效性。
新颖性
首次在移动GUI代理中引入语义上下文机制，结合中文数据集，提升了多语言环境下的导航性能。
局限性
- 在特定复杂界面上，语义上下文可能无法涵盖所有必要信息。
- 对非中文应用的适用性尚待验证。
未来方向
未来工作包括扩展至更多语言和应用场景，优化语义上下文机制以处理更复杂的界面。
AI 总览摘要
移动GUI代理在自动化智能手机任务中展现出巨大潜力，但现有方法面临多语言数据稀缺和历史表示低效的问题。SecAgent通过构建中文移动GUI数据集和引入语义上下文机制，显著提升了代理的效率和性能。
SecAgent在CMGUI基准上表现优异，步骤准确率达到96.4%，在其他基准上也表现出色，接近更大规模模型的性能。其核心在于将历史信息转化为简洁的自然语言总结，降低了计算成本。
尽管SecAgent在中文环境中取得了成功，但其在其他语言和更复杂界面上的适用性仍需进一步研究。未来工作将致力于扩展应用场景和优化算法，以应对更广泛的挑战。
深度分析
研究背景
近年来，多模态大语言模型在移动GUI代理中的应用取得了显著进展。这些代理通过视觉感知和自然语言处理，能够自动化复杂的智能手机任务。然而，现有研究主要集中在英语环境，对非英语生态系统的关注较少。
核心问题
移动GUI代理面临的核心问题是多语言数据稀缺和历史信息表示低效。现有方法依赖于平台特定的解析，难以适应多样化的UI设计，且完整的历史信息会导致计算开销过大。
核心创新
SecAgent的核心创新在于引入语义上下文机制，将历史截图和操作转化为自然语言总结，显著降低计算成本。同时，构建了一个经过人工验证的中文移动GUI数据集，填补了多语言数据的空白。
方法详解
- �� 构建中文移动GUI数据集，包含18k样本和121k导航步骤。
- �� 引入语义上下文机制，动态维护历史信息的自然语言总结。
- �� 通过监督和强化学习微调模型，提升导航性能。
实验设计
实验在CMGUI、AndroidControl和GUIOdyssey基准上进行，评估了SecAgent的导航性能。采用步骤准确率和任务准确率作为评估指标，并进行了消融实验以验证语义上下文机制的有效性。
结果分析
SecAgent在CMGUI基准上达到96.4%的步骤准确率，显著优于同规模模型。在其他基准上，表现接近8B模型，验证了语义上下文机制的有效性。
应用场景
SecAgent可用于多语言移动应用的自动化任务，特别是在中文环境中。其高效的历史信息表示机制使其在计算资源有限的设备上也能表现出色。
局限与展望
SecAgent在处理复杂界面时可能存在信息丢失的问题，且对非中文应用的适用性尚需验证。未来工作将致力于扩展应用场景和优化算法。
通俗解读 非专业人士也能看懂
想象你在用手机浏览一个购物应用程序。通常，你需要记住你看过的商品和点击过的链接，这就像在脑海中保存一张购物清单。SecAgent就像一个聪明的助手，它能自动为你记录这些信息，并在你需要时提供帮助。它通过将复杂的历史操作转化为简单的文字总结，帮助你更快地找到想要的商品，而不需要反复查看之前的页面。
简单解释 像给14岁少年讲一样
嘿，小伙伴！想象你在玩一个手机游戏，需要记住每个关卡的线索和你做过的选择。SecAgent就像一个超级记忆助手，它能帮你记录所有重要的线索和选择，让你在游戏中更容易找到正确的路。它就像一个聪明的笔记本，把复杂的信息变成简单的文字，让你轻松过关！
术语表
语义上下文 (Semantic Context)
将历史操作和截图转化为自然语言总结，降低计算成本。
用于动态维护历史信息，以提高导航效率。
多模态大语言模型 (Multimodal Large Language Model)
结合视觉和语言处理能力的模型，用于复杂任务自动化。
为移动GUI代理提供视觉感知和语言理解能力。
强化学习 (Reinforcement Learning)
通过奖励机制优化模型决策能力的一种机器学习方法。
用于微调SecAgent以提高导航性能。
CMGUI数据集 (CMGUI Dataset)
一个包含18k样本和121k导航步骤的中文移动GUI数据集。
用于训练和评估SecAgent的多语言导航能力。
步骤准确率 (Step Accuracy)
衡量模型在导航任务中每一步决策正确性的指标。
用于评估SecAgent在基准测试中的表现。
开放问题 这项研究留下的未解疑问
- 1 如何在更复杂的界面中保持语义上下文的完整性？
- 2 如何扩展SecAgent至其他语言和应用场景？
- 3 在非中文环境中，SecAgent的适用性如何？
应用场景
近期应用
中文移动应用自动化
SecAgent可用于自动化中文移动应用中的任务，提升用户体验和操作效率。
远期愿景
多语言智能助手
未来，SecAgent可能成为支持多语言环境的智能助手，帮助用户在不同语言的应用中高效导航。
原文摘要
Mobile Graphical User Interface (GUI) agents powered by multimodal large language models have demonstrated promising capabilities in automating complex smartphone tasks. However, existing approaches face two critical limitations: the scarcity of high-quality multilingual datasets, particularly for non-English ecosystems, and inefficient history representation methods. To address these challenges, we present SecAgent, an efficient mobile GUI agent at 3B scale. We first construct a human-verified Chinese mobile GUI dataset with 18k grounding samples and 121k navigation steps across 44 applications, along with a Chinese navigation benchmark featuring multi-choice action annotations. Building upon this dataset, we propose a semantic context mechanism that distills history screenshots and actions into concise, natural language summaries, significantly reducing computational costs while preserving task-relevant information. Through supervised and reinforcement fine-tuning, SecAgent outperforms similar-scale baselines and achieves performance comparable to 7B-8B models on our and public navigation benchmarks. Our dataset is available at https://huggingface.co/datasets/alibabagroup/CMGUI.