核心发现
方法论
研究采用了工作流对齐的分类法，将信任分为感知信任、推理信任和交互信任，分析了每个阶段的失败模式和防御机制。通过系统性评估，提出了新的信任度量标准和基准。
关键结果
- 在感知阶段，发现视觉幻觉和对抗攻击是主要问题，提出了输入过滤和跨模态验证作为防御措施。
- 推理阶段的挑战在于长时间序列中的不确定性累积，提出了增强规划架构和外部验证系统作为解决方案。
- 交互阶段强调了不可逆操作的风险，建议采用风险感知执行和人类监督机制。
研究意义
该研究为构建可信的GUI代理提供了系统性框架，填补了现有LLM安全机制在动态环境中的不足，对学术界和工业界均具有重要意义，尤其在安全性和实用性之间的权衡方面。
技术贡献
提出了新的信任分类法和度量标准，显著提升了对GUI代理的安全性评估能力。通过引入跨模态验证和风险感知执行，提供了新的工程实现可能性。
新颖性
首次系统性地将信任分为感知、推理和交互三个维度，提供了针对GUI代理特定的安全性解决方案，与现有LLM安全机制形成鲜明对比。
局限性
- 视觉幻觉问题在移动设备上尤为严重，现有防御机制在应对自适应对手时效果有限。
- 推理阶段的多代理协调仍然是个挑战，现有方法在长时间序列中的表现不稳定。
未来方向
未来研究可探索更精细的上下文感知风险评估机制，以及在动态环境中更高效的多代理协调方法。
AI 总览摘要
随着GUI代理的兴起，AI系统与数字世界的交互方式发生了根本性转变。传统的LLM安全机制在动态环境中显得不足，尤其是在不可逆操作的风险管理方面。本研究提出了一种新的信任分类法，将信任分为感知信任、推理信任和交互信任，系统性地分析了每个阶段的失败模式和防御机制。
在感知阶段，研究发现视觉幻觉和对抗攻击是主要问题，提出了输入过滤和跨模态验证作为防御措施。在推理阶段，长时间序列中的不确定性累积是主要挑战，研究建议采用增强规划架构和外部验证系统来解决。在交互阶段，强调了不可逆操作的风险，建议采用风险感知执行和人类监督机制。
该研究为构建可信的GUI代理提供了系统性框架，填补了现有LLM安全机制在动态环境中的不足，对学术界和工业界均具有重要意义，尤其在安全性和实用性之间的权衡方面。未来研究可探索更精细的上下文感知风险评估机制，以及在动态环境中更高效的多代理协调方法。
深度分析
研究背景
GUI代理的出现标志着AI系统与数字世界交互方式的根本转变。传统的LLM安全机制主要针对静态文本生成，而GUI代理需要在动态环境中执行不可逆操作，如提交表单、删除数据等。这种转变对AI的可信度提出了更高要求。
核心问题
核心问题在于执行差距，即感知、推理和交互之间的不对齐。这种差距导致了在动态、部分可观测界面中的不可靠操作，可能引发严重后果，如误删数据或授权错误。
核心创新
提出了一种工作流对齐的信任分类法，将信任分为感知信任、推理信任和交互信任。每个维度都针对GUI代理的特定挑战，提供了相应的防御机制，如跨模态验证和风险感知执行。
方法详解
- �� 感知信任：通过输入过滤和跨模态验证来提高感知准确性。
- �� 推理信任：采用增强规划架构和外部验证系统来应对长时间序列中的不确定性。
- �� 交互信任：通过风险感知执行和人类监督来管理不可逆操作的风险。
实验设计
实验设计包括对不同阶段的失败模式进行系统性评估，使用标准数据集和基准进行验证。重点评估了感知阶段的视觉幻觉问题和推理阶段的多代理协调挑战。
结果分析
结果显示，跨模态验证显著提高了感知阶段的准确性，增强规划架构在推理阶段表现出色，尤其是在长时间序列任务中。风险感知执行有效降低了交互阶段的不可逆操作风险。
应用场景
该研究的应用场景包括自动化任务执行、智能助手和人机交互系统。其信任分类法和防御机制可用于提高这些系统的安全性和可靠性。
局限与展望
尽管提出了多种防御机制，但在面对自适应对手时仍存在局限。尤其是在移动设备上，视觉幻觉问题更为突出，现有方法在长时间序列任务中的表现不稳定。
通俗解读 非专业人士也能看懂
想象一个厨房，厨师是GUI代理。他需要根据食谱（任务）准备菜肴（执行操作）。但厨房环境是动态的，食材（界面元素）可能会变化。厨师需要准确识别食材（感知信任），制定烹饪计划（推理信任），并正确操作厨房设备（交互信任）。如果厨师误认了食材或操作错误，可能导致菜肴失败（不可逆操作）。因此，确保厨师在每个步骤都能准确执行是至关重要的。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，你是主角，游戏世界是一个大城市。你需要完成任务，比如找到隐藏的宝藏（执行操作）。但城市会不断变化，建筑（界面元素）可能会移动。你需要准确识别建筑（感知信任），制定计划（推理信任），并正确行动（交互信任）。如果你误认了建筑或行动错误，可能会导致任务失败（不可逆操作）。所以，确保你在每个步骤都能准确执行是非常重要的！
术语表
GUI代理 (Graphical User Interface Agent)
GUI代理是指在图形用户界面中执行操作的智能代理，通常扩展自大型语言模型。
在本文中，GUI代理用于在动态数字环境中执行不可逆操作。
感知信任 (Perception Trust)
感知信任指代理对界面状态的准确理解能力，是信任评估的基础。
感知信任在本文中用于评估代理在视觉幻觉和对抗攻击下的表现。
推理信任 (Reasoning Trust)
推理信任指代理在不确定环境中做出合理决策的能力。
推理信任在本文中用于分析长时间序列任务中的不确定性累积。
交互信任 (Interaction Trust)
交互信任指代理正确执行意图操作的能力，尤其在不可逆操作中。
交互信任在本文中用于评估代理在执行不可逆操作时的风险管理能力。
执行差距 (Execution Gap)
执行差距是指感知、推理和交互之间的不对齐，导致不可靠操作。
执行差距是本文提出的核心挑战，影响代理的整体可信度。
开放问题 这项研究留下的未解疑问
- 1 如何在动态环境中实现更高效的多代理协调仍是未解难题。
- 2 现有的防御机制在面对自适应对手时效果有限，需要更精细的风险评估。
应用场景
近期应用
自动化任务执行
提高智能助手在复杂任务中的安全性和可靠性，减少人为干预。
远期愿景
智能人机交互系统
通过增强信任机制，实现更自然、更安全的人机交互体验。
原文摘要
Graphical User Interface (GUI) agents extend large language models from text generation to action execution in real-world digital environments. Unlike conversational systems, GUI agents perform irreversible operations such as submitting forms, granting permissions, or deleting data, making trustworthiness a core requirement. This survey identifies the execution gap as a key challenge in building trustworthy GUI agents: the misalignment between perception, reasoning, and interaction in dynamic, partially observable interfaces. We introduce a workflow-aligned taxonomy that decomposes trust into Perception Trust, Reasoning Trust, and Interaction Trust, showing how failures propagate across agent pipelines and compound through action/observation loops. We systematically review benign failure modes and adversarial attacks at each stage, together with corresponding defense mechanisms tailored to GUI settings. We further analyze evaluation practices and argue that task completion alone is insufficient for trust assessment. We highlight emerging trust-aware metrics and benchmarks that capture error cascades and the security/utility trade-off, and outline open challenges for deploying GUI agents safely and reliably.