CAPED: Context-Aware Privacy Exposure Defense for Mobile GUI Agents

移动端GUI自动化技术经过多年的发展，逐步实现了通过视觉感知进行交互的能力。早期方案多依赖规则匹配和简单的遮蔽技术，难以应对复杂场景中的隐私泄露问题。近年来，基于深度学习的UI解析和任务理解技术不断突破，推动了智能代理的应用，但隐私保护仍面临挑战。现有方法如文本匿名和全屏遮蔽，虽然在一定程度上减少了敏感信息泄露，但也带来了功能性损失和用户体验下降的问题。特别是在多模态信息融合和上下文感知方面，研究仍处于探索阶段。整体来看，移动GUI代理的隐私保护技术正处于从静态遮蔽向动态、任务感知的转变中，亟需更细粒度、更智能的解决方案。

核心问题在于如何在保证任务完成的前提下，有效减少偶发的视觉隐私泄露。传统的全屏遮蔽和文本匿名，无法区分任务相关和无关的敏感信息，导致功能受限或隐私泄露风险增加。现有方案缺乏对内容上下文的理解，难以实现内容的动态筛选。尤其是在多模态、多任务环境中，如何实现实时、精细的内容筛选，成为技术瓶颈。此外，隐私保护的可审计性和用户控制权也是亟待解决的问题。解决这一问题，不仅需要深度理解UI结构和任务需求，还要设计高效、可扩展的决策机制，兼顾隐私与实用性。

本研究的创新点在于提出任务驱动的选择性曝光原则，结合屏幕上下文和UI元素分析，实现内容的动态筛选。首先，系统在设备端进行任务理解，提取结构化任务需求，确保敏感信息在上传前得到过滤。其次，通过屏幕上下文分类，设定默认隐私策略，结合元素级别的检测（OCR和UI检测）实现细粒度的内容筛选。再次，采用元素相关性验证（如VQA）确认内容的任务相关性，确保必要信息暴露。最后，系统引入可审计的遮蔽策略，允许临时解封，增强系统的灵活性和透明度。这一机制突破了传统的静态遮蔽方案，兼顾隐私保护和任务需求，具有显著的创新价值。

• �� 任务理解：在设备端解析用户指令，提取{app, subject, type}结构化需求，确保隐私保护的目标明确。
• �� 屏幕上下文分类：利用Android系统信号（如包名、活动名）判断当前场景的隐私级别。
• �� UI元素解析：通过OCR和UI检测器，将截图划分为文本、图像和图标三类，进行内容识别。
• �� 任务相关性验证：对图像采用视觉问答（VQA）判断是否包含任务所需的主体，文本进行语义匹配。
• �� 内容筛选决策：结合任务需求、上下文和元素内容，采用元素级别的决策表，决定暴露、遮蔽或临时解封。
• �� 遮蔽与恢复：对非必要内容进行遮蔽，必要时允许临时解封，操作均可审计。
• �� 结果输出：生成经过筛选的截图和任务表示，确保上传内容的隐私安全。

在Android环境下，使用28个 seeded 任务进行隐私泄露评估，比较不同保护策略（无保护、文本匿名、全屏遮蔽、CAPED全保护）。指标包括泄露指标（加权成功泄露率）和任务完成率。还在AndroidWorld平台上，测试116个常规任务，评估系统的实用性和隐私保护效果。参数调优包括UI解析阈值、任务匹配策略和遮蔽强度，确保系统在不同场景下的适应性。通过消融实验验证各个模块的贡献，分析系统在复杂多变场景中的表现。

CAPED在 seeded 评估中，将泄露指标由0.766降低到0.268，达到了显著的隐私保护效果，且任务完成率保持在0.929以上。在AndroidWorld测试中，完整系统完成55.2%的任务，优于未保护状态的66.4%。消融实验显示，任务驱动的内容筛选明显优于全屏遮蔽和文本匿名方案，验证了其有效性。系统在不同隐私场景下表现出良好的适应性，证明了其在实际应用中的潜力。

该技术可广泛应用于移动端自动化、个人助理、隐私敏感场景的智能交互中。用户在授权任务时，系统自动筛选必要信息，避免敏感内容泄露，提升隐私安全。企业可在客户服务、数据分析等场景中部署，确保敏感信息不被无意中暴露。未来结合多模态信息和深度学习，可实现更智能的内容筛选和个性化隐私控制，推动行业标准的制定。

系统在复杂多变的应用环境中，仍存在漏检敏感内容或误遮非敏感内容的问题，主要由UI解析和任务理解的局限引起。高复杂度场景下的实时性和准确性有待提升，尤其在多模态融合方面。此外，系统在极端边缘场景可能引入额外计算成本，影响用户体验。未来需优化算法效率，增强鲁棒性，并扩展多平台适用性。