核心发现
方法论
本文提出GUI Knowledge Bench，通过多平台多应用的选择题和是非题系统评估VLMs的GUI知识。包括界面知识、交互知识和流程知识三个维度，旨在揭示VLMs在实际GUI任务中的知识缺口。
关键结果
- 结果1: VLMs在识别小部件功能上表现良好，但在跟踪系统状态和遵循交互惯例方面表现不足。
- 结果2: 在292个应用的评估中，VLMs未能有效评估任务完成进度。
- 结果3: 实验验证了GUI知识与任务成功之间的密切联系。
研究意义
研究揭示了VLMs在GUI任务中的知识缺口，提供了评估和选择潜在模型的框架，为构建更强大的GUI代理提供了指导。
技术贡献
提出了一个结构化框架来评估GUI知识，支持在下游训练前选择具有更大潜力的VLMs，并提供了构建更强大GUI代理的见解。
新颖性
首次系统评估VLMs的GUI知识，提出了三维度的知识分类方法，填补了现有评估方法的空白。
局限性
- 局限1: 当前VLMs在系统状态跟踪和交互惯例方面表现不足。
- 局限2: 评估未能涵盖所有可能的GUI任务场景。
未来方向
未来工作可集中于扩展评估范围，开发更具适应性的VLMs以应对复杂的GUI任务。
AI 总览摘要
视觉语言模型（VLMs）在自动化图形用户界面（GUI）任务方面取得了进展，但仍落后于人类。我们假设这种差距源于缺乏核心GUI知识，现有的训练方案（如监督微调和强化学习）无法完全解决这一问题。通过分析GUI任务执行中的常见失败模式，我们将GUI知识提炼为三个维度：界面知识、交互知识和流程知识。我们进一步引入GUI Knowledge Bench，一个跨六个平台（Web、Android、MacOS、Windows、Linux、IOS）和292个应用的选择题和是非题评估基准。我们的评估表明，当前VLMs通常了解单个小部件的功能，但缺乏跟踪系统状态、遵循GUI交互惯例和评估任务完成进度所需的GUI特定知识。对实际GUI任务的实验进一步验证了GUI知识与任务成功之间的密切联系。通过提供一个结构化框架来评估GUI知识，我们的工作支持在下游训练前选择具有更大潜力的VLMs，并提供了构建更强大GUI代理的见解。
深度分析
研究背景
近年来，视觉语言模型（VLMs）在自动化图形用户界面（GUI）任务方面取得了显著进展。然而，尽管有监督微调和强化学习等技术的应用，VLMs在许多实际场景中仍然表现不佳。现有的评估方法主要关注任务成功率，而忽视了对GUI知识的系统评估。
核心问题
VLMs在执行GUI任务时常常失败，主要原因是缺乏必要的GUI知识。虽然现有的训练方法可以提高推理、基础和规划能力，但对注入新的GUI知识贡献甚微。
核心创新
我们提出GUI Knowledge Bench，通过系统评估VLMs的GUI知识，揭示其在实际任务中的知识缺口。我们将GUI知识分为界面知识、交互知识和流程知识三个维度，以系统评估现有模型的知识水平。
方法详解
- �� 界面知识：评估模型对小部件功能、布局语义和系统状态的识别能力。
- �� 交互知识：评估模型对GUI交互惯例的理解。
- �� 流程知识：评估模型对任务目标和工作流程序列的了解。
实验设计
我们设计了一个跨六个平台（Web、Android、MacOS、Windows、Linux、IOS）和292个应用的评估基准，采用选择题和是非题格式，以减少开放式生成的变异性。
结果分析
评估结果显示，当前VLMs在识别小部件功能和理解布局语义方面表现良好，但在跟踪系统状态和遵循交互惯例方面表现不足。实验验证了GUI知识与任务成功之间的密切联系。
应用场景
该研究为选择潜在的VLMs提供了知识基础，并为构建更强大的GUI代理提供了指导，具有广泛的应用前景。
局限与展望
当前评估未能涵盖所有可能的GUI任务场景，VLMs在系统状态跟踪和交互惯例方面表现不足，未来工作可集中于扩展评估范围。
通俗解读 非专业人士也能看懂
想象你在使用一个复杂的应用程序，比如一个新的手机操作系统。你需要知道每个按钮的功能，如何与界面交互，以及完成任务的正确步骤。这就像在一个陌生的城市中导航，你需要知道每个路标的含义，如何遵循交通规则，以及到达目的地的最佳路线。我们的研究就是为了帮助AI更好地理解这些“城市导航”规则，以便更好地完成任务。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！想象一下你在玩一个超级酷的手机游戏。游戏里有很多按钮和选项，你需要知道每个按钮的作用，如何操作才能赢得比赛。我们的研究就像是给AI一个超级攻略，让它知道每个按钮的功能，如何操作才能完成任务。这样AI就能像你一样聪明，快速完成任务！
术语表
视觉语言模型 (Vision Language Models)
结合视觉和语言信息进行任务处理的模型。
用于自动化图形用户界面任务。
界面知识 (Interface Knowledge)
关于小部件功能、布局语义和系统状态的知识。
评估VLMs在识别界面元素上的能力。
交互知识 (Interaction Knowledge)
关于GUI交互类型和效果的知识。
评估VLMs在遵循交互惯例上的能力。
流程知识 (Procedure Knowledge)
关于任务目标和工作流程序列的知识。
评估VLMs在完成任务上的能力。
强化学习 (Reinforcement Learning)
通过奖励机制优化模型决策的学习方法。
用于提高VLMs的任务执行能力。
开放问题 这项研究留下的未解疑问
- 1 VLMs在系统状态跟踪方面表现不足，需进一步研究。
- 2 现有评估未涵盖所有GUI任务场景，需扩展范围。
应用场景
近期应用
应用程序自动化
帮助开发者选择更强大的VLMs以提高应用程序自动化效率。
远期愿景
智能GUI代理
开发更智能的GUI代理以应对复杂的任务场景。
原文摘要
Vision language models (VLMs) have advanced graphical user interface (GUI) task automation but still lag behind humans. We hypothesize this gap stems from missing core GUI knowledge, which existing training schemes (such as supervised fine tuning and reinforcement learning) alone cannot fully address. By analyzing common failure patterns in GUI task execution, we distill GUI knowledge into three dimensions: (1) interface knowledge about widget functions, layout semantics, and system states; (2) interaction knowledge about GUI interaction types and effects; and (3) procedure knowledge of task objectives and workflow sequences. We further introduce GUI Knowledge Bench, a benchmark with multiple-choice and yes/no questions across six platforms (Web, Android, MacOS, Windows, Linux, IOS) and 292 applications. Our evaluation indicates that current VLMs are generally aware of the functions of individual widgets, but lack the GUI-specific knowledge required to track system states, adhere to GUI interaction conventions, and assess task completion progress. Experiments on real-world GUI tasks further validate the close link between GUI knowledge and task success. By providing a structured framework for assessing GUI knowledge, our work supports the selection of VLMs with greater potential prior to downstream training and provides insights for building more capable GUI agents.