核心发现
方法论
CHOP通过引入“基向量”子任务，优化视觉语言模型在GUI场景中的规划能力。该方法使用人类规划的子任务作为基础向量，确保子任务的可执行性和效率。通过在20个应用中测试，验证了其在中英文环境下的显著提升。
关键结果
- CHOP在20个应用中测试，成功率提高至80%，完成率达到90%，显著优于现有方法。
- 在CHOP-ZH数据集上，CHOP在中等难度任务中成功率提升至80%，效率提高30%。
- 消融实验表明，去除基向量子任务后，成功率下降至50%，证明其重要性。
研究意义
CHOP通过优化子任务规划，解决了视觉语言模型在多代理架构下的执行效率问题。该方法不仅提升了移动助手的任务完成率，还显著减少了计算资源的消耗，对学术界和工业界具有重要意义。
技术贡献
CHOP引入了基向量子任务的概念，首次在GUI场景中实现了高效的子任务规划。与现有方法相比，CHOP在不增加模型复杂度的情况下，显著提升了任务执行的效率和效果。
新颖性
CHOP首次将人类规划经验引入到视觉语言模型的子任务规划中，提出了基向量子任务的概念，解决了现有方法在GUI场景中效率低下的问题。
局限性
- CHOP在处理全新应用时，可能需要额外的人类规划数据以维持高效性。
- 在复杂任务中，基向量子任务的覆盖率可能不足。
未来方向
未来工作可以探索如何自动生成基向量子任务，以及在更多语言和应用场景中的适用性。
AI 总览摘要
CHOP是一种新型的移动操作助手，通过引入基向量子任务，显著提升了视觉语言模型在GUI场景中的规划能力。现有的视觉语言模型在多代理架构下，常常面临子任务不可执行和效率低下的问题。CHOP通过使用人类规划的子任务作为基础向量，确保子任务的可执行性和效率。
在实验中，CHOP在20个应用中进行了测试，结果显示其在中英文环境下的任务完成率和效率均有显著提升。尤其是在中等难度的任务中，CHOP的成功率提升至80%，效率提高30%。
尽管CHOP在提升效率和效果方面表现出色，但在处理全新应用时，可能需要额外的人类规划数据以维持高效性。未来的研究方向包括自动生成基向量子任务，以及在更多语言和应用场景中的适用性。
深度分析
研究背景
近年来，视觉语言模型（VLMs）在移动设备操作中得到了广泛应用。通过模拟人类行为，这些模型能够自动化执行用户指令。然而，现有的VLMs在多代理架构下，常常面临子任务不可执行和效率低下的问题。这主要是由于VLMs在GUI场景中缺乏经验，无法有效分解子任务。
核心问题
当前的视觉语言模型在多代理架构下，面临着子任务不可执行和效率低下的双重挑战。这些问题主要源于VLMs在GUI场景中缺乏经验，无法有效分解子任务，导致任务执行效率低下。
核心创新
CHOP通过引入基向量子任务，解决了VLMs在GUI场景中的规划问题。基向量子任务是从人类规划中提取的高频子任务，确保了子任务的可执行性和效率。与现有方法相比，CHOP在不增加模型复杂度的情况下，显著提升了任务执行的效率和效果。
方法详解
- �� CHOP使用人类规划的子任务作为基础向量，确保子任务的可执行性和效率。
- �� 在GUI场景中，CHOP通过基向量子任务的约束，优化了任务分解的过程。
- �� CHOP在中英文环境下的20个应用中进行了测试，验证了其显著提升。
实验设计
CHOP在中英文环境下的20个应用中进行了测试，涵盖了不同难度的任务。实验采用了CHOP-En和CHOP-ZH两个数据集，分别包含了30个英文指令和200个中文指令。通过与现有方法的对比，验证了CHOP在任务完成率和效率上的显著提升。
结果分析
实验结果显示，CHOP在中等难度任务中的成功率提升至80%，效率提高30%。消融实验表明，去除基向量子任务后，成功率下降至50%，证明其重要性。
应用场景
CHOP在移动设备操作中具有广泛的应用前景，可用于自动化执行用户指令，提升任务完成率和效率。尤其在需要高效执行复杂任务的场景中，CHOP的优势尤为明显。
局限与展望
尽管CHOP在提升效率和效果方面表现出色，但在处理全新应用时，可能需要额外的人类规划数据以维持高效性。此外，在复杂任务中，基向量子任务的覆盖率可能不足。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。你有一个食谱，上面写着每一步该做什么。CHOP就像是一个聪明的助手，它会帮你把复杂的食谱分解成简单的步骤，比如切菜、煮饭等。每个步骤都是一个子任务，CHOP会确保每个子任务都能顺利完成，就像一个经验丰富的厨师一样，知道什么时候该做什么。这样一来，你就能更快更好地完成整个菜谱，而不会浪费时间。
简单解释 像给14岁少年讲一样
想象你在玩一个复杂的游戏，需要完成很多任务。CHOP就像是游戏里的一个超级助手，它会帮你把大任务分解成小任务，比如找物品、打怪兽等。每个小任务都很简单，CHOP会确保你能顺利完成，就像一个游戏高手一样，知道每一步该怎么做。这样你就能更快地通关，而不会卡在某个地方。是不是很酷？
术语表
视觉语言模型 (VLM)
一种结合视觉和语言处理能力的模型，能够理解和生成多模态信息。
在CHOP中用于处理移动设备的操作指令。
基向量子任务
从人类规划中提取的高频子任务，确保任务的可执行性和效率。
CHOP用来优化任务分解的核心概念。
多代理架构
一种由多个独立代理组成的系统，每个代理负责特定任务。
CHOP中用于分解和执行子任务的架构。
GUI场景
图形用户界面环境，用户通过视觉元素与系统交互。
CHOP中需要优化任务分解的场景。
任务完成率
成功完成任务的比例，是衡量系统效率的重要指标。
CHOP在实验中用来评估性能的关键指标。
开放问题 这项研究留下的未解疑问
- 1 如何在全新应用中自动生成基向量子任务，以维持高效性和可执行性。
- 2 如何在更多语言和应用场景中验证CHOP的适用性。
应用场景
近期应用
移动设备自动化
CHOP可用于提升移动设备的操作效率，自动化执行用户指令，减少人工干预。
远期愿景
跨平台任务优化
CHOP的基向量子任务概念可扩展至其他平台，实现更广泛的任务优化和自动化。
原文摘要
The advancement of visual language models (VLMs) has enhanced mobile device operations, allowing simulated human-like actions to address user requirements. Current VLM-based mobile operating assistants can be structured into three levels: task, subtask, and action. The subtask level, linking high-level goals with low-level executable actions, is crucial for task completion but faces two challenges: ineffective subtasks that lower-level agent cannot execute and inefficient subtasks that fail to contribute to the completion of the higher-level task. These challenges stem from VLM's lack of experience in decomposing subtasks within GUI scenarios in multi-agent architecture. To address these, we propose a new mobile assistant architecture with constrained high-frequency o}ptimized planning (CHOP). Our approach overcomes the VLM's deficiency in GUI scenarios planning by using human-planned subtasks as the basis vector. We evaluate our architecture in both English and Chinese contexts across 20 Apps, demonstrating significant improvements in both effectiveness and efficiency. Our dataset and code is available at https://github.com/Yuqi-Zhou/CHOP