核心发现
方法论
本文提出了链式动作思维（CoAT）方法，结合屏幕描述、动作思考、下一步动作描述和动作结果，提升了GUI代理的预测能力。通过在AITZ数据集上进行实验，验证了该方法的有效性。
关键结果
- 在零样本设置下，CoAT在三个现成的多模态模型上显著提高了动作预测精度，相比于传统方法，预测准确率提高了约10%。
- 通过在AITZ数据集上微调1B模型AUTO-UI-base，其性能与CogAgent-Chat-18B相当，表明AITZ数据集的高质量和CoAT方法的有效性。
- 在实验中，CoAT方法在目标进度和学习效率上均有显著提升，尤其是在复杂上下文建模中表现出色。
研究意义
该研究通过引入链式动作思维（CoAT）方法，显著提升了GUI代理在复杂任务中的预测能力，尤其是在零样本和小样本情况下。这一方法不仅在学术界具有重要意义，还为工业界的自动化操作提供了新的思路。
技术贡献
本文的技术贡献在于提出了链式动作思维（CoAT）方法，结合屏幕描述、动作思考等多种信息，增强了GUI代理的决策能力。与现有方法相比，CoAT提供了更全面的语义信息，有助于提高预测准确性。
新颖性
CoAT方法首次将动作思考与屏幕描述结合，提供了更全面的语义信息。这一创新在于通过链式思维方式，显著提升了GUI代理的预测能力，尤其是在复杂任务场景中。
局限性
- CoAT方法在处理极其复杂的屏幕布局时可能表现不佳，因其依赖于屏幕描述的准确性。
- AITZ数据集虽然丰富，但在某些特定应用场景下可能缺乏足够的多样性。
未来方向
未来研究可在更大规模的数据集上验证CoAT方法的有效性，并探索其在其他领域的应用潜力，如智能家居和自动驾驶。
AI 总览摘要
智能手机上的GUI代理可以通过自然语言触发任务，但现有方法在语义信息利用上存在不足。本文提出的链式动作思维（CoAT）方法，通过结合屏幕描述、动作思考等信息，显著提升了动作预测能力。
CoAT方法在零样本设置下，在三个多模态模型上均表现出色，尤其在AITZ数据集上微调后，性能与大型模型相当。AITZ数据集提供了丰富的屏幕-动作对和链式思维注释，支持了CoAT方法的验证。
研究表明，CoAT方法不仅在学术界具有重要意义，还为工业界的自动化操作提供了新的思路。然而，该方法在处理极其复杂的屏幕布局时可能表现不佳，未来研究可在更大规模的数据集上验证其有效性。
深度分析
研究背景
近年来，智能手机的GUI代理成为研究热点，这些代理通过自然语言触发任务。然而，现有方法在语义信息利用上存在不足，尤其是在中间屏幕截图和屏幕操作的语义信息上。为此，本文提出了链式动作思维（CoAT）方法，旨在提升GUI代理的预测能力。
核心问题
现有的GUI代理方法在处理复杂任务时，往往忽视了中间屏幕截图和屏幕操作的语义信息。这导致在零样本和小样本情况下，预测准确性较低，难以满足实际应用需求。
核心创新
CoAT方法通过结合屏幕描述、动作思考、下一步动作描述和动作结果，提供了更全面的语义信息。这一创新在于通过链式思维方式，显著提升了GUI代理的预测能力，尤其是在复杂任务场景中。
方法详解
- �� 屏幕描述：提供当前屏幕的主要内容信息。
- �� 动作思考：分析用户查询和当前屏幕，推断可能的动作。
- �� 下一步动作描述：说明操作的UI元素或屏幕功能。
- �� 动作结果：连接当前屏幕和下一步动作，综合动作结果。
实验设计
实验在AITZ数据集上进行，该数据集包含18,643个屏幕-动作对和链式思维注释。通过在三个多模态模型上进行零样本和微调评估，验证了CoAT方法的有效性。
结果分析
实验结果表明，CoAT方法在零样本设置下显著提高了动作预测精度，尤其在AITZ数据集上微调后，性能与大型模型相当。此外，CoAT方法在目标进度和学习效率上均有显著提升。
应用场景
CoAT方法可应用于智能手机的自动化操作，尤其在需要复杂决策的场景中，如智能家居和自动驾驶等领域。
局限与展望
CoAT方法在处理极其复杂的屏幕布局时可能表现不佳，因其依赖于屏幕描述的准确性。此外，AITZ数据集在某些特定应用场景下可能缺乏足够的多样性。
通俗解读 非专业人士也能看懂
想象你在用手机购物，屏幕上有很多按钮和选项。CoAT方法就像一个聪明的助手，它不仅能看到屏幕上的内容，还能理解你想做什么，然后帮你做出最合适的选择。比如，你想买一件衣服，CoAT会先看看屏幕上有什么选项，然后想想哪个按钮能帮你找到衣服，最后帮你点击那个按钮。这样，你就不用自己费力去找了。
简单解释 像给14岁少年讲一样
想象你在玩一个手机游戏，需要点击屏幕上的不同按钮来完成任务。CoAT就像一个超级聪明的游戏助手，它能帮你分析屏幕上的信息，想出最佳的操作步骤，然后帮你完成任务。比如，你需要找到一个隐藏的宝藏，CoAT会先观察屏幕，找出可能的线索，然后帮你点击正确的地方。这样，你就能更快地找到宝藏啦！
术语表
大语言模型 (Large Language Model)
一种基于深度学习的模型，能够理解和生成自然语言文本。
用于生成GUI代理的动作序列。
GUI代理 (GUI Agent)
一种能够在图形用户界面上自动执行任务的程序。
通过自然语言触发任务。
链式动作思维 (Chain-of-Action-Thought)
一种结合屏幕描述、动作思考等信息的方法，提升预测能力。
用于提高GUI代理的预测准确性。
AITZ数据集 (AITZ Dataset)
一个包含18,643个屏幕-动作对和链式思维注释的数据集。
用于验证CoAT方法的有效性。
零样本 (Zero-Shot)
在没有见过具体样本的情况下进行预测的能力。
验证CoAT方法在不同模型上的表现。
开放问题 这项研究留下的未解疑问
- 1 如何在更复杂的屏幕布局中提升CoAT方法的表现？
- 2 AITZ数据集在特定应用场景下的多样性如何提升？
应用场景
近期应用
智能手机自动化
CoAT方法可用于提升智能手机上的自动化操作效率，尤其在需要复杂决策的场景中。
远期愿景
智能家居
未来，CoAT方法可应用于智能家居系统，帮助用户更高效地管理家居设备。
原文摘要
Large language model (LLM) leads to a surge of autonomous GUI agents for smartphone, which completes a task triggered by natural language through predicting a sequence of actions of API. Even though the task highly relies on past actions and visual observations, existing studies typically consider little semantic information carried out by intermediate screenshots and screen operations. To address this, this work presents Chain-of-Action-Thought (dubbed CoAT), which takes the description of the previous actions, the current screen, and more importantly the action thinking of what actions should be performed and the outcomes led by the chosen action. We demonstrate that, in a zero-shot setting upon three off-the-shelf LMMs, CoAT significantly improves the action prediction compared to previous proposed context modeling. To further facilitate the research in this line, we construct a dataset Android-In-The-Zoo (AitZ), which contains 18,643 screen-action pairs together with chain-of-action-thought annotations. Experiments show that fine-tuning a 1B model (i.e. AUTO-UI-base) on our AitZ dataset achieves on-par performance with CogAgent-Chat-18B.