核心发现
方法论
GUICrafter采用两阶段的课程学习框架。第一阶段利用大量未标注的截图和网页，通过GUI交互中的丰富上下文信号进行视觉定位学习。第二阶段使用少量高质量数据，通过强化学习校准模型。核心算法包括RLVR和GRPO。
关键结果
- 在Mind2Web和ScreenSpot-Pro基准上，GUICrafter的定位准确率分别提升了12.4%和20.5%，仅使用UI-TARS数据的0.1%。
- 在相同标注数据量下，GUICrafter超越了GUI-R1，展示出更强的视觉定位和泛化能力。
- 通过两阶段训练，GUICrafter在多平台基准上均表现出色，特别是在跨网站和跨领域测试中表现优异。
研究意义
GUICrafter显著降低了GUI代理对昂贵人工标注的依赖，提升了跨设备的泛化能力。这一方法为GUI代理的研究提供了新的思路，尤其是在数据稀缺的情况下，展示了数据高效性和可扩展性。
技术贡献
GUICrafter通过弱监督学习和强化学习结合，突破了传统GUI代理数据依赖的限制，提供了一种无需人工标注的训练框架，提升了视觉定位和泛化能力。
新颖性
这是首次利用未标注截图进行GUI代理的视觉定位学习，突破了传统方法对人工标注的依赖，提供了一种新的数据生成和训练策略。
局限性
- 在某些复杂界面上，视觉定位精度仍有提升空间，尤其是涉及动态元素时。
- 对高质量数据的依赖在第二阶段仍然存在，可能限制了某些应用场景。
未来方向
未来可以探索更多的交互信号类型，以及如何在更大规模的数据集上应用此方法。此外，提升动态界面下的视觉定位精度也是一个重要方向。
AI 总览摘要
当前的GUI代理在跨设备泛化和细粒度元素定位上存在挑战。GUICrafter通过利用大量未标注的截图，提出了一种弱监督学习框架，显著降低了对昂贵人工标注的依赖。该方法分为两个阶段，首先通过未标注数据进行视觉定位学习，然后通过少量高质量数据进行强化学习校准。实验结果显示，GUICrafter在多个基准上均表现优异，特别是在跨网站和跨领域测试中，展示了更强的泛化能力。尽管如此，复杂界面的视觉定位精度仍有待提升，未来研究将继续探索更广泛的交互信号和更大规模的数据集应用。
深度分析
研究背景
GUI代理通过模拟人类操作完成用户指定任务，但由于数据收集困难，现有方法在跨设备泛化和细粒度元素定位上存在不足。传统方法依赖大量人工标注数据，成本高且难以扩展。
核心问题
现有GUI代理在视觉定位和跨设备泛化上表现不佳，主要由于缺乏多样化和全面的训练数据，导致在真实应用中难以适应多样化的界面布局。
核心创新
GUICrafter通过弱监督学习和强化学习结合，利用未标注截图进行视觉定位学习，突破了传统方法对人工标注的依赖，提供了一种新的数据生成和训练策略。
方法详解
- �� 收集网页和截图，提取交互信号。• 设计元任务，替代人工标注任务。• 第一阶段通过RLVR算法进行弱监督预训练。• 第二阶段使用高质量数据进行强化学习微调。
实验设计
实验在Mind2Web和ScreenSpot-Pro等基准上进行，使用的指标包括定位准确率和步骤成功率。对比基线包括UI-TARS和GUI-R1。
结果分析
GUICrafter在多个基准上均表现优异，特别是在跨网站和跨领域测试中，展示了更强的泛化能力。定位准确率提升显著，数据效率高。
应用场景
GUICrafter可用于自动化测试、用户界面设计优化等场景，特别适用于数据稀缺的应用环境。
局限与展望
在复杂界面上，视觉定位精度仍有提升空间。对高质量数据的依赖在第二阶段仍然存在，可能限制了某些应用场景。
通俗解读 非专业人士也能看懂
想象你在一个巨大的图书馆，里面有无数的书籍和杂志。GUICrafter就像一个聪明的图书管理员，它不需要每本书都有详细的目录，而是通过观察书的封面和目录，猜测书的内容。这样，它可以快速找到你需要的书，而不需要每次都翻阅整本书。这种方法让它在面对不同类型的书籍时都能快速适应。
简单解释 像给14岁少年讲一样
想象你在一个游戏中，需要找到隐藏的宝藏。GUICrafter就像一个超级聪明的助手，它不需要你告诉它每个宝藏的位置，而是通过观察地图上的线索，自己推测出宝藏可能的位置。这样，它可以在不同的地图上都帮你找到宝藏，而不需要每次都重新学习。是不是很酷？
术语表
GUI代理 (GUI Agent)
GUI代理是能够自动执行用户界面交互任务的智能系统。
在本文中，GUI代理用于模拟人类在电子设备上的操作。
弱监督学习 (Weakly-Supervised Learning)
一种利用部分标注数据进行模型训练的方法，减少对全标注数据的依赖。
GUICrafter使用弱监督学习来处理未标注的截图。
视觉定位 (Visual Grounding)
识别和定位图像中目标对象的过程。
GUICrafter通过视觉定位提升了对细粒度GUI元素的识别能力。
强化学习 (Reinforcement Learning)
通过奖励机制指导智能体学习的机器学习方法。
在GUICrafter中，强化学习用于校准模型。
元任务 (Meta-Task)
抽象化的任务描述，用于替代具体的人工标注任务。
GUICrafter通过元任务减少了对人工标注的依赖。
开放问题 这项研究留下的未解疑问
- 1 如何在动态界面上提升视觉定位精度？现有方法在处理动态元素时仍有不足。
- 2 如何进一步减少对高质量数据的依赖？目前第二阶段仍需依赖高质量数据。
应用场景
近期应用
自动化测试
GUICrafter可用于软件的自动化测试，减少人工测试成本。
远期愿景
用户界面设计优化
通过分析用户界面交互数据，优化设计，提高用户体验。
原文摘要
Data, as the fundamental substrate of modern intelligence, has greatly driven the development of current foundation models. Naturally, researchers aim to extend this paradigm to the domain of GUI agents, hoping to build strong GUI agents through a similar paradigm. However, GUI agent data cannot be directly harvested from the internet, making it costly and difficult to collect at scale. As a result, current GUI agents suffer from poor cross-device generalization and limited visual grounding ability for fine-grained GUI elements. As an attempt to address data challenge in GUI agents, we propose GUICrafter, a weakly-supervised GUI agent leveraging massive unannotated screenshots to substantially reduce the reliance on expensive human annotations. GUICrafter explores a curriculum learning framework for training GUI agents through two progressive stages. First, the model learns visual grounding from large-scale unannotated screenshots and webpages, leveraging the rich contextual signals inherent in GUI interactions without human annotations. Then, in Stage 2, we leverage a small amount of high-quality data to calibrate the model via reinforcement learning. Experiments show that GUICrafter achieves competitive, or even superior, performance to advanced systems like UI-TARS while using only 0.1% of its data. Furthermore, under the same amount of annotated data, GUICrafter surpasses all previous methods such as GUI-R1. Code, data, and models are available at https://github.com/fansunqi/GUICrafter.