核心发现
方法论
本文提出的测试时自我演化框架包括探索、评估、反思和内化四个核心步骤。模型在部署后首先通过预测界面元素的定位坐标进行探索，随后利用基于多模态大模型（MLLM）的反思器（Reflector）对预测结果进行评估，并生成详细的推理反思。为了将反思知识内化到模型参数中，作者设计了反思引导的策略自蒸馏（R-OPSD），通过条件自教师模型将高层次推理转化为密集的逐词监督信号。为避免错误的自回归前缀污染监督信号，提出了对比校准（Contrastive Calibration）机制，通过逆提示（inverse prompt）对比，抑制错误信息的传递。整个流程在六个公开基准上进行大量实验，平均性能提升7.4%，显著优于传统静态模型和现有的测试时强化学习方法。
关键结果
- 在六个GUI视觉定位基准上，框架实现平均准确率提升7.4%，在SSv2数据集上，Qwen2.5-VL-3B模型的准确率从50.2%提升到57.4%，在Qwen3-VL-2B模型上，提升幅度达4.6%，验证了模型在未标注环境中的自我演化能力。
- 引入反思机制后，模型不仅能从成功探索中学习，还能从失败中反思，利用反思生成的文本信息指导模型参数更新，突破了传统强化学习仅依赖稀疏奖励的限制。
- 对比校准机制有效抑制了错误前缀带来的负面影响，确保了自蒸馏过程中的监督信号质量，提升了模型的鲁棒性和学习效率。
研究意义
该研究首次将反思引导的自蒸馏技术应用于GUI视觉定位的测试时自我演化中，填补了模型在部署后持续学习的空白。通过引入详细的推理反思机制，模型能够自主识别和修正自身的错误，极大增强了GUI智能体的适应性和自主性。这一方法不仅推动了视觉与语言多模态学习的前沿，也为未来智能交互系统的持续学习提供了新思路，具有重要的理论价值和广泛的应用潜力。
技术贡献
本文的核心技术创新包括：1）提出基于反思的闭环自我演化框架，实现模型在无标注环境中的持续优化；2）设计反思引导的策略自蒸馏（R-OPSD），将高层次推理转化为密集的逐词监督，突破传统强化学习的限制；3）引入对比校准机制，有效抑制错误前缀的负面影响，确保监督信号的可靠性；4）在六个公开基准上进行大规模验证，展现出优异的性能提升。这些技术结合，为GUI视觉定位提供了一种全新的自适应解决方案，推动了模型在实际部署中的持续学习能力。
新颖性
本研究首次将反思机制引入测试时自我演化框架，利用多模态大模型进行详细推理评估，并通过自蒸馏实现无标注环境下的模型优化。相较于现有的测试时强化学习方法（如GUI-RCPO），本方法不仅利用了丰富的反思信息，还引入对比校准机制，有效解决了错误前缀污染问题，展现出在GUI视觉定位任务中的突破性应用。其创新点在于将高层次推理转化为密集的逐词监督，增强模型的学习效果和鲁棒性。
局限性
- 当前方法依赖于反思器的评估准确性，若反思器在复杂界面或模糊场景下表现不佳，可能影响整体性能。
- 模型在极端失败场景（如完全未识别界面元素）下的自我演化能力仍有限，未来需增强反思和内化机制的鲁棒性。
- 训练过程中引入的对比校准机制增加了计算成本，尤其在大规模模型和多轮交互中，可能影响实际部署效率。
未来方向
未来工作将聚焦于提升反思器的泛化能力，结合更强大的多模态模型，增强在复杂环境中的表现。同时，将探索多轮交互和动态环境适应，结合元学习策略，进一步提升模型的自主学习和持续适应能力。此外，研究还将关注模型在实际应用中的安全性和可解释性，确保其在真实场景中的可靠性。
AI 总览摘要
在数字化信息爆炸的时代，用户界面（GUI）作为人机交互的核心载体，其理解和操作的智能化需求日益增长。传统的GUI视觉定位模型依赖大量标注数据进行训练，然而在实际应用中，界面布局频繁变化，模型一旦部署便难以适应新环境，导致性能大幅下降。为解决这一难题，本文提出了一种创新的测试时自我演化框架，旨在赋予GUI智能体在部署后自主学习和适应的能力。
该框架由探索、评估、反思和内化四个环节组成。模型在面对未知界面时，首先通过预测界面元素的坐标进行探索。随后，引入基于多模态大模型（MLLM）的反思器（Reflector），对预测结果进行评估，并生成详细的推理反思。这些反思不仅判断预测的正确性，还分析失败原因，为模型提供丰富的反馈信息。接下来，利用反思引导的策略自蒸馏（R-OPSD），将高层次的推理知识转化为密集的逐词监督信号，指导模型参数的更新。
为了避免错误的前缀污染监督信号，作者设计了对比校准（Contrastive Calibration）机制，通过逆提示（inverse prompt）对比，有效抑制错误信息的传递。这一机制确保了模型在面对失败探索时，仍能稳定学习，逐步提升性能。
在六个公开GUI视觉定位基准上进行的大规模实验显示，所提出的方法平均性能提升7.4%，在未使用标注数据的情况下实现了显著的自我演化能力。特别是在复杂环境和极端失败场景中，该框架展现出优越的鲁棒性和适应性。该研究不仅突破了静态模型的局限，还为未来自主学习的智能交互系统提供了新思路，具有深远的理论和应用价值。
总之，本文通过引入反思机制和自蒸馏技术，开启了GUI智能体持续学习的新篇章，为智能界面交互的未来发展提供了坚实的技术基础和实践路径。
深度分析
研究背景
随着人机交互技术的发展，GUI（图形用户界面）视觉定位成为实现智能自动化操作的关键技术之一。早期方法主要依赖于大规模标注数据进行监督学习，代表性工作包括基于深度卷积网络的特征提取和注意力机制的定位模型（如Qin et al. 2025，Cheng et al. 2024）。近年来，强化学习（如Luo et al. 2025a，Yuan et al. 2025）被引入以提升模型的交互能力，特别是在复杂环境中实现更鲁棒的定位效果。与此同时，测试时推理（test-time inference）技术逐渐兴起，旨在在模型部署后进行微调和优化（如GUI-RCPO）。然而，这些方法大多依赖稀疏奖励或有限的反馈信息，难以实现模型的持续自我提升，尤其是在面对未见界面或布局变化时表现不足。
核心问题
现有GUI视觉定位模型在部署后，参数冻结，无法自主学习新环境中的界面布局和元素变化。这导致模型在遇到未见界面或布局差异时，性能迅速下降，限制了其实际应用的适应性。虽然一些方法尝试通过测试时强化学习（TTRL）进行在线微调，但它们依赖稀疏的奖励信号，无法反映探索失败的原因，难以指导模型进行有效修正。这一瓶颈严重制约了GUI智能体的自主学习能力，亟需一种能够在无标注环境下，利用模型自身生成的反思信息实现持续优化的解决方案。
核心创新
本文的创新点主要体现在以下几个方面：1）提出基于反思的闭环自我演化框架，结合探索、评估、反思和内化步骤，实现模型在部署后自主学习；2）引入多模态大模型（MLLM）作为反思器，结合自然语言推理能力，对模型预测进行详细评估和解释；3）设计反思引导的策略自蒸馏（R-OPSD），将高层次推理转化为密集的逐词监督信号，突破传统强化学习对稀疏奖励的依赖；4）提出对比校准（CC）机制，有效抑制错误前缀污染，确保监督信号的可靠性。这些创新结合，为GUI视觉定位提供了一种全新的自适应学习路径，显著提升模型在未见环境中的表现。
方法详解
- �� 探索阶段：模型在给定界面截图和自然语言指令的条件下，预测目标元素的坐标（如边界框或中心点）。
- �� 评估阶段：引入基于多模态大模型（如Qwen系列）的反思器，输入界面截图、指令和预测坐标，输出一个二值评估结果（成功或失败）以及详细推理过程。
- �� 反思阶段：反思器生成的文本反映了模型的判断依据和失败原因，为后续参数更新提供丰富的语义信息。
- �� 内化阶段：利用反思引导的自蒸馏（R-OPSD），将反思中的推理内容转化为逐词监督信号，条件模型参数的更新。具体实现包括：
- 构建条件自教师：根据反思结果，生成特定的提示（成功或失败）引导模型。
- 计算逐词优势：使用教师模型和学生模型的输出概率差异，得到每个预测词的优势值。
- 采用对比校准机制：在失败探索中，通过逆提示（L(¬S)）对比，抑制错误前缀的影响。
- 优化目标：结合策略梯度和监督信号，逐步提升模型的预测准确性。
- �� 实验中，模型在六个公开基准上进行验证，采用LoRA参数调节，训练细节包括学习率、批次大小等，确保模型在无标注环境中持续学习。
实验设计
实验设计涵盖六个GUI视觉定位基准，包括ScreenSpot、ScreenSpot-v2、ScreenSpot-Pro、MMBench-GUI、OSWorld-G和OSWorld-G-Refine。采用元素准确率（Element Accuracy）作为主要指标，定义为预测点落在目标元素边界框内的比例。模型基础为Qwen2.5-VL和Qwen3-VL，使用LoRA进行参数调节，训练过程中交替优化模型和反思器，确保参数共享和计算效率。训练细节包括：在GroundCUA数据集上用GRPO算法训练反思器，学习率为1×10^-4，批次64，训练1轮；模型内部化阶段采用R-OPSD，结合GRPO优势，训练2轮。测试时不使用任何标注信息，模拟部署后的自我演化环境。通过多轮探索和反思，模型不断优化，验证其在不同场景中的泛化能力和鲁棒性。
结果分析
在六个基准上，所有模型均实现性能提升，平均达7.4%。在SSv2数据集上，Qwen2.5-VL-3B模型的准确率由50.2%提升到57.4%，提升7.2个百分点；Qwen3-VL-2B模型在MMBench-GUI上的准确率由68.0%提升到72.6%，提升4.6个百分点。对比现有的测试时强化学习方法GUI-RCPO，本文方法在所有场景中表现优越，尤其在失败率高的复杂环境中，表现出更强的鲁棒性。 Ablation研究显示引入反思机制和对比校准后，模型在极端失败场景中的性能显著改善，验证了技术设计的有效性。整体结果表明，通过反思引导的自蒸馏策略，模型能够在没有标注的情况下实现持续学习和性能提升。
应用场景
该技术适用于自动化测试、智能助手、无障碍交互等场景，尤其在界面频繁变化或缺乏标注数据的环境中表现出巨大潜力。企业可以部署此框架，使GUI智能体在实际应用中不断自我优化，减少人工标注成本，提升用户体验。未来，结合多模态信息和强化学习，模型还能实现更复杂的交互任务，如多轮对话中的界面操作、跨平台适应等。长远来看，该方法有望推动自主学习系统在智能制造、智慧城市等领域的广泛应用，促进人机交互的智能化和个性化发展。
局限与展望
目前模型对反思器的依赖较大，反思器性能不足可能影响整体效果。复杂场景下，反思文本的准确性和推理深度仍有提升空间。训练过程中的参数调节和对比校准机制增加了计算成本，尤其在大规模模型部署时，可能面临效率瓶颈。此外，模型在极端失败场景（如完全误识界面元素）中的自我修正能力有限，未来需要引入更强的多轮交互和元学习策略以增强鲁棒性。
通俗解读 非专业人士也能看懂
想象你在玩一个智能机器人助手，它可以帮你找出界面上的按钮或图标，只需用一句话告诉它想做什么。可是，这个机器人在第一次遇到新界面时，可能会找错按钮，比如说你让它点“开始”，但它点了“退出”。传统的方法就像是让机器人记住所有界面，然后用大量的标注告诉它哪里是“开始”。但这很麻烦，也不灵活。
这篇论文就像给机器人装上了一个“反思”功能。每次它点错了，它会自己分析为什么会错，告诉自己哪里出问题，然后根据这些反思自己学习。它还会用一种特别的方法，把这些反思变成可以直接用来训练的“指令”，让机器人不断改进自己。这样，即使没有人告诉它正确答案，它也能通过自己反思不断变得更聪明。
就像你在玩游戏时，输了会反思哪里出错，下次就能避免。这个系统让机器人在没有人帮忙的情况下，自己不断学习、变得更厉害。它的目标是让未来的智能助手变得更自主、更聪明，能在各种新环境中都表现出色，就像一个永远在学习的学生一样。
原文摘要
GUI Visual Grounding is a fundamental capability for GUI agents. Existing models typically freeze their parameters after deployment, limiting their ability to adapt to unseen interfaces. Although recent methods attempt to adapt models via test-time reinforcement learning, they cannot reflect upon failed exploration. To overcome this, we propose a Test-Time Self-Evolving framework that enables models to improve after deployment without human-annotated ground truth. It constructs a closed-loop of Exploration, Evaluation, Reflection, and Internalization. Specifically, the agent first explores unseen interfaces by predicting grounding coordinates for given instructions. To evaluate these explorations, we introduce an MLLM-based Reflector to assess the generated results and provide the corresponding reasoning reflections. To internalize reflection knowledge into the model weights, we propose Reflection-Guided On-Policy Self-Distillation, which translates high-level reasoning into dense token-level supervision via a conditioned self-teacher. Furthermore, we design a Contrastive Calibration method to prevent incorrect auto-regressive prefixes from corrupting the supervisory signals during failed explorations. Extensive experiments across six benchmarks demonstrate our framework's effectiveness, achieving an average accuracy improvement of 7.4% over the base model. To the best of our knowledge, this is the first work to successfully exploit on-policy self-distillation for test-time adaptation in GUI visual grounding. By filling the gap in post-deployment adaptation, our framework completes the self-evolving capability of GUI agents. The code will be released.
参考文献 (20)
UI-TARS: Pioneering Automated GUI Interaction with Native Agents
Yujia Qin, Yining Ye, Junjie Fang 等
SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents
Kanzhi Cheng, Qiushi Sun, Yougang Chu 等
Test-Time Reinforcement Learning for GUI Grounding via Region Consistency
Yongkun Du, Yuchen Yan, Fei Tang 等
MMBench-GUI: Hierarchical Multi-Platform Evaluation Framework for GUI Agents
Xuehui Wang, Zhenyu Wu, Jingjing Xie 等
Learn where to Click from Yourself: On-Policy Self-Distillation for GUI Grounding
Yan Zhang, Daiqing Wu, Huawen Shen 等
Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents
Boyu Gou, Ruohan Wang, Boyuan Zheng 等
Video-OPD: Efficient Post-Training of Multimodal Large Language Models for Temporal Video Grounding via On-Policy Distillation
Jiaze Li, Hao Yin, Haoran Xu 等
Grounding Computer Use Agents on Human Demonstrations
Aarash Feizi, Shravan Nayak, Xiangru Jian 等
Zoom to Essence: Trainless GUI Grounding by Inferring upon Interface Elements
Ziwei Liu, Tao Feng, Borui Kang 等
GUI-G1: Understanding R1-Zero-Like Training for Visual Grounding in GUI Agents
Yuqi Zhou, Sunhao Dai, Shuai Wang 等
ScreenSpot-Pro: GUI Grounding for Professional High-Resolution Computer Use
Kaixin Li, Ziyang Meng, Hongzhan Lin 等
RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation
Leyi Pan, Shuchang Tao, Yunpeng Zhai 等
OPSDL: On-Policy Self-Distillation for Long-Context Language Models
Xinsen Zhang, Zhe Ding, Tian Pan 等
Enhancing Visual Grounding for GUI Agents via Self-Evolutionary Reinforcement Learning
Xinbin Yuan, Jian Zhang, Kaixin Li 等
InfiGUI-R1: Advancing Multimodal GUI Agents from Reactive Actors to Deliberative Reasoners
Yuhang Liu, Pengxiang Li, Congkai Xie 等
Scaling Computer-Use Grounding via User Interface Decomposition and Synthesis
Tianbao Xie, Jiaqi Deng, Xiaochuan Li 等
ShowUI: One Vision-Language-Action Model for GUI Visual Agent
Kevin Qinghong Lin, Linjie Li, Difei Gao 等
GUI-Actor: Coordinate-Free Visual Grounding for GUI Agents
Qianhui Wu, Kanzhi Cheng, Rui Yang 等
Entropy-Aware On-Policy Distillation of Language Models
Woogyeol Jin, Taywon Min, Yongjin Yang 等