Enhancing Visual Grounding for GUI Agents via Self-Evolutionary Reinforcement Learning
提出基于自我演化强化学习的GUI视觉定位方法，利用7B参数模型在3K样本下达成47.3%准确率。
核心发现
方法论
本文提出结合种子数据筛选、密集策略梯度和自我演化强化微调的框架。首先，通过过滤噪声数据构建高质量训练集；其次，设计连续点奖励机制，缓解稀疏奖励问题；最后，利用模型Attention映射进行自我监督，迭代优化模型性能。采用GRPO算法，结合层级Attention，利用注意力图引导模型逐步校准界面元素定位。实验中仅用3K样本，模型参数达7B，超越同规模模型在三项基准测试中的表现，特别是在ScreenSpot-Pro上达47.3%的准确率，超越UI-TARS-72B 24.2%。
关键结果
- 在三项GUI定位基准中，SE-GUI-7B模型以仅3K样本实现了47.3%的最高准确率，显著优于传统SFT方法和更大模型，验证了强化学习和自我演化机制的有效性。
- 在多平台（桌面、移动、网页）环境下，模型在ScreenSpot和ScreenSpot-v2上分别达到88.2%和90.3%的准确率，展现出优异的泛化能力。
- 通过消融实验，验证了高质量数据和高分辨率输入对性能提升的关键作用，强调了噪声过滤和细粒度视觉信息的重要性。
研究意义
该研究突破了GUI指向任务中数据稀疏和泛化能力不足的瓶颈，展示了强化学习结合注意力自监督的潜力，为高分辨率复杂环境中的界面理解提供新思路。其少样本高效训练策略极大降低了数据依赖，为工业自动化和智能交互应用提供可行方案，推动GUI智能代理向更高精度和适应性发展。
技术贡献
提出基于密集点奖励的强化学习优化策略，创新性引入自我演化Attention映射作为模型自监督信号，结合GRPO算法实现高效训练。通过数据筛选确保训练样本质量，利用层级Attention引导模型逐步校准界面元素定位，显著提升在少样本条件下的性能。该方法突破了传统SFT的局限，为GUI理解提供了新的技术路径。
新颖性
首次将自我演化Attention映射引入GUI视觉定位任务，结合密集点奖励机制，有效缓解稀疏奖励问题，实现少样本高性能。区别于以往依赖大规模标注数据的SFT方法，此框架强调模型自我监督和逐步校准，展现出在复杂高分辨率环境中的优越性。
局限性
- 当前方法在极端复杂或动态变化的界面中可能表现不足，模型对极少样本的泛化能力仍有限。
- 训练过程中对Attention映射的依赖增加了计算成本，未来需优化效率。
- 模型在超高分辨率场景中的表现仍需验证，存在潜在性能瓶颈。
未来方向
未来将探索多模态信息融合，提升模型对动态界面和多任务场景的适应性。同时，计划引入更高效的Attention机制和自监督策略，进一步降低训练成本，增强模型的泛化能力。还将扩展到多语言、多平台的实际应用中，推动GUI智能代理的普及与工业化落地。
AI 总览摘要
图形用户界面（GUI）代理技术近年来取得显著进展，能够理解和执行用户指令，广泛应用于自动化和智能交互中。然而，精确定位界面元素仍是核心难题，尤其在高分辨率、复杂环境下，传统监督微调（SFT）方法依赖大量标注数据，且泛化能力有限。为突破这一瓶颈，本文提出一种结合自我演化强化学习（RL）与注意力映射的创新框架。该方法通过筛选高质量种子数据，设计连续点奖励缓解稀疏奖励问题，并利用模型层级Attention映射实现自我监督，逐步优化界面元素定位性能。实验结果显示，采用仅3K样本的7B参数模型在三项基准测试中均超越更大模型，特别是在高难度的ScreenSpot-Pro上达47.3%的准确率，优于UI-TARS-72B 24.2%。这一突破验证了RL结合自我演化机制在GUI任务中的潜力，为少样本高效训练提供新思路。未来，结合多模态信息和优化Attention机制，将进一步推动GUI智能代理的泛化和实用化，助力工业自动化和智能交互的广泛应用。
深度分析
研究背景
随着大规模视觉和语言模型的发展，GUI理解逐渐成为研究热点。早期工作多依赖结构化数据（如HTML）或API调用，但在高分辨率、复杂界面中，视觉感知和自然语言理解的结合成为关键。近年来，基于深度学习的GUI代理如AppAgent和UI-TARS通过视觉编码实现较好表现，但在数据依赖和泛化能力方面仍受限制。强化学习被引入以提升模型自主性，但稀疏奖励和数据质量问题限制了其效果。当前，如何在少样本条件下实现高精度定位，成为行业和学术界的共同难题。
核心问题
核心问题在于GUI指向任务中，模型在高分辨率复杂界面下难以实现准确定位，尤其在数据有限时表现不佳。传统SFT方法依赖大量标注，且泛化能力不足，难以应对多样化场景。强化学习虽具潜力，但稀疏奖励机制导致训练不稳定，且噪声数据影响模型性能。如何设计高效、少样本、泛化强的学习策略，成为突破瓶颈的关键。
核心创新
提出结合高质量数据筛选、密集点奖励和自我演化Attention映射的强化学习框架。第一，筛选出3,018个高质量样本，确保训练数据的可靠性；第二，设计连续点奖励机制，缓解稀疏奖励带来的训练难题；第三，利用模型Attention映射进行自我监督，逐步校准界面元素定位。这些创新点共同提升模型在少样本条件下的表现，显著优于传统SFT和大规模预训练模型。
方法详解
- �� 数据筛选：从公开数据集中筛除低质量样本，确保指令清晰、界面元素准确。• 奖励设计：引入连续点奖励，根据预测点与真实边界的距离动态调整奖励值。• 自我演化：每轮训练后，利用模型Attention映射生成空间注意力图，评估模型是否正确关注目标区域。• 训练流程：先用筛选后数据训练基础模型，再利用Attention映射指导下一轮训练，形成闭环优化。• 算法实现：采用GRPO算法，结合KL散度限制模型更新，确保训练稳定性。• 迭代优化：多轮循环，直到模型性能收敛。
实验设计
在六个不同平台和任务上评估模型性能，包括ScreenSpot、ScreenSpot-v2、ScreenSpot-Pro、AndroidControl和OmniAct。采用准确率和成功率指标，比较不同模型和参数规模。训练中，使用8块NVIDIA A100-80G GPU，调节超参数α、β、γ、τ以优化奖励函数。通过消融实验验证数据质量和分辨率对性能的影响，突出高质量数据和细粒度视觉信息的重要性。
结果分析
模型在三项GUI定位基准中，7B参数的SE-GUI仅用3K样本即达47.3%的最高准确率，远超传统SFT模型。在多平台环境下，准确率在ScreenSpot和ScreenSpot-v2分别达88.2%和90.3%。在AndroidControl和OmniAct任务中，模型在少样本条件下实现显著优越的表现，验证了其高效性和泛化能力。消融实验显示，数据清洗和高分辨率输入是性能提升的关键因素。
通俗解读 非专业人士也能看懂
想象你在一家工厂工作，工厂里有很多不同的机器和操作步骤。以前，工人们需要学习每台机器的详细操作手册，才能正确操作。现在，工厂引入了一种智能助手，它可以通过观察工厂的实时画面和指令，自动学习如何操作各种机器。这个助手会不断尝试和调整，逐渐学会了在不同的场景下正确操作。它用一种特殊的“注意力”机制，知道自己应该关注哪个机器或按钮，就像你用放大镜找关键部件一样。每次操作后，它会根据结果反馈，调整自己的策略，变得越来越聪明。这就像这个论文中的方法，通过不断自我学习和调整，变得能在复杂环境中准确找到目标，效率大大提高。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏，拼图上有很多细节和颜色。你想找到正确的拼块放到正确的位置，但一开始很难，因为拼图太复杂了。这个论文就像发明了一种聪明的机器人，它可以自己观察拼图，学习怎么找到正确的拼块。它会用一种特别的“放大镜”——叫Attention，帮它集中注意力在最重要的区域。每次它试着拼完一块后，会根据结果告诉自己哪里做得好，哪里还需要改进。这样，机器人不断自己调整，变得越来越擅长拼图。这个方法只用很少的样本（就像只看了几块拼图），就能学会快速找到目标，比以前需要看很多拼图的方式更聪明、更高效。
术语表
强化学习 (Reinforcement Learning)
一种通过奖励机制让模型自主学习策略的方法，强调试错和反馈优化。在论文中，用于提升GUI元素定位的准确性。
本文采用强化学习优化模型在复杂界面中的表现。
Attention映射 (Attention Maps)
模型内部用于显示模型关注区域的空间表示，帮助理解模型决策依据。在论文中，用于自我监督和模型校准。
通过Attention映射指导模型逐步校准界面元素定位。
GRPO算法
Group Relative Policy Optimization，一种结合相对奖励和策略优化的强化学习算法，提升训练效率。
用于优化GUI定位模型的策略更新。
密集点奖励 (Dense Point Reward)
一种连续奖励机制，根据预测点与真实目标距离动态调整奖励，缓解稀疏奖励问题。
设计用于强化模型在少样本条件下的学习效果。
自我演化机制 (Self-Evolution)
模型利用自身Attention映射进行自我监督，不断迭代优化性能的过程。
实现模型在训练中的逐步校准和性能提升。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升模型在极端复杂界面中的定位精度，仍需探索多模态信息融合和更高效的Attention机制。当前方法在动态界面和多任务场景下的适应性有待验证，未来需结合实时反馈优化策略。
应用场景
近期应用
自动化界面操作
可应用于自动化测试、界面导航和辅助操作，减少人工干预，提高效率。需要高质量训练数据和高分辨率输入，适合工业自动化场景。
智能界面理解工具
为开发者提供界面元素自动识别和定位，支持多平台界面设计和优化，提升交互体验。
远期愿景
普适化智能交互系统
未来可实现跨平台、跨任务的通用GUI理解与操作，推动智能助手普及，改变人机交互方式。
原文摘要
Graphical User Interface (GUI) agents have made substantial strides in understanding and executing user instructions across diverse platforms. Yet, grounding these instructions to precise interface elements remains challenging, especially in complex, high-resolution, professional environments. Traditional supervised finetuning (SFT) methods often require large volumes of diverse data and exhibit weak generalization. To overcome these limitations, we introduce a reinforcement learning (RL) based framework that incorporates three core strategies: (1) seed data curation to ensure high quality training samples, (2) a dense policy gradient that provides continuous feedback based on prediction accuracy, and (3) a self evolutionary reinforcement finetuning mechanism that iteratively refines the model using attention maps. With only 3k training samples, our 7B-parameter model achieves state-of-the-art results among similarly sized models on three grounding benchmarks. Notably, it attains 47.3\% accuracy on the ScreenSpot-Pro dataset, outperforming much larger models, such as UI-TARS-72B, by a margin of 24.2\%. These findings underscore the effectiveness of RL-based approaches in enhancing GUI agent performance, particularly in high-resolution, complex environments.