核心发现
方法论
HATS框架结合硬度驱动探索与对齐引导修正，通过硬度指标引导探索高价值模糊交互，并利用多轮验证修正指令-执行偏差。采用HD-MCTS算法，结合UCB策略、状态扩展、模拟和反向传播，系统性提升轨迹多样性与语义一致性。硬度定义基于动作的语义模糊度，通过反向验证指标R(A,B)量化，形成闭环优化机制。该方法在多个GUI基准环境中实现优异性能，显著优于现有方法。
关键结果
- 在ANDROIDWORLD数据集上，HATS在任务成功率上整体提升22.6%，在WEBARENA中提升24.87%，在多个任务类别中均优于OS-GENESIS，尤其在语义模糊交互场景中表现突出，成功率提升超过30%。
- 通过多轮验证和硬度引导，显著减少指令-执行偏差，提升数据质量，实验中硬度指标的变化与任务成功率呈正相关，验证了硬度作为难度信号的有效性。
- 消融实验显示，硬度驱动探索和多轮修正共同作用下，轨迹多样性和语义一致性均有明显改善，提升了模型的泛化能力和鲁棒性。
研究意义
该研究突破了GUI轨迹合成中语义模糊交互的瓶颈，推动自动化数据生成向高质量、多样化方向发展。通过硬度感知机制，模型能更好理解复杂场景中的隐晦动作，增强代理在实际应用中的鲁棒性与泛化能力。此技术不仅提升训练效率，也为未来自主学习和多模态交互提供理论基础，有望在智能助手、自动化测试等领域实现广泛应用。
技术贡献
提出硬度感知的闭环轨迹合成框架HATS，创新性地结合硬度指标引导探索与多轮指令修正机制，突破传统随机探索的局限。引入HD-MCTS算法，利用硬度奖励动态调整探索策略，确保生成多样且语义丰富的轨迹。该方法实现了轨迹数据的高质量自动合成，为GUI代理训练提供了更可靠的训练数据基础，显著优于现有的逆向任务合成和一次性指令生成方法。
新颖性
首次将语义模糊动作的难度定义为硬度指标，结合硬度驱动探索与多轮验证修正，形成闭环优化机制。区别于传统随机探索和单次指令生成，HATS实现了轨迹多样性与语义一致性的双重提升，显著改善了复杂交互场景下的泛化能力。这一创新为GUI轨迹合成提供了新思路，填补了模糊交互理解的研究空白。
局限性
- 当前方法依赖于预训练的视觉语言模型，模型性能受限于基础模型的表达能力，复杂场景中仍存在语义理解不足的问题。
- 硬度指标的定义和参数调优具有一定经验依赖，可能在不同应用场景下需要调整参数以达到最佳效果。
- 在极端复杂或动态变化的界面中，硬度驱动探索可能面临效率瓶颈，未来需结合强化学习或元学习进一步优化。
未来方向
未来将探索多模态信息融合，提升硬度指标的表达能力，结合强化学习优化探索策略。还计划扩展到多任务、多环境场景，增强模型的适应性和泛化能力。此外，将结合用户反馈机制，动态调整硬度定义，提升系统的自主学习能力。
AI 总览摘要
HATS提出了一种基于硬度感知的轨迹合成框架，旨在解决GUI代理在复杂语义模糊交互中的泛化瓶颈。传统方法多依赖随机探索或一次性指令生成，难以捕获隐晦动作，导致数据多样性不足和模型鲁棒性差。HATS通过定义动作的语义模糊度为硬度指标，结合硬度驱动探索和多轮指令修正，形成闭环优化机制。
该框架利用HD-MCTS算法，动态引导探索偏向高价值模糊交互，同时通过多轮验证确保指令与动作的语义一致性。实验在ANDROIDWORLD和WEBARENA两个基准环境中，HATS在任务成功率上均优于现有方法，尤其在复杂模糊场景中表现显著提升，成功率提升超过30%。
这一技术突破不仅增强了GUI代理的泛化能力，也为自动化数据生成提供了新思路。通过硬度指标的引入，模型能够更好理解复杂交互中的隐晦动作，从而提升训练数据的质量和多样性。未来，结合多模态信息和强化学习，HATS有望在智能助手、自动化测试等领域实现更广泛应用，推动自主学习和人机交互的深入发展。
深度分析
研究背景
随着大规模视觉-语言模型的发展，GUI代理在自动化任务中的应用逐渐成熟。早期方法依赖手工设计规则或外部工具，存在数据稀缺和泛化能力不足的问题。近年来，逆向任务合成和自动轨迹生成成为研究热点，显著降低了数据采集成本，但仍面临语义模糊交互难以捕获的问题。复杂场景中的隐晦动作、上下文依赖和视觉歧义，导致训练数据质量下降，模型泛化受限。现有方法多忽视动作的语义模糊性，导致代理在实际应用中表现不稳。为解决这一难题，研究者开始关注动作的语义难度和交互的多样性，提出硬度感知机制，旨在提升轨迹合成的语义丰富性和鲁棒性。
核心问题
核心问题在于现有轨迹合成方法难以捕获语义模糊的动作，导致数据多样性不足和模型泛化能力差。随机探索偏向简单直观的交互，忽视复杂上下文依赖的隐晦动作，限制了模型在真实场景中的表现。此外，指令生成的单次验证机制难以保证语义一致性，存在偏差和噪声，影响训练效果。如何在保证数据多样性的同时，确保指令与动作的语义对齐，成为提升GUI代理性能的关键难题。
核心创新
HATS的创新点在于引入硬度指标，定义动作的语义模糊度，结合硬度驱动探索和多轮指令修正，形成闭环优化机制。具体包括：
- �� 硬度指标：基于反向验证指标R(A,B)，量化动作的语义模糊程度。
- �� 硬度驱动探索：利用HD-MCTS，优先采样高硬度（模糊）区域，丰富数据多样性。
- �� 多轮修正：通过多轮指令验证与修正，确保指令与动作的语义一致性。
- �� 软硬结合：将硬度作为探索和修正的反馈信号，动态调整采样策略，提升轨迹质量。
方法详解
- �� 采用HD-MCTS算法，结合UCB策略，平衡探索与利用，优先采样高硬度区域。
- �� 在选择阶段，从根节点开始递归选择动作，利用硬度奖励引导偏向复杂交互。
- �� 扩展阶段，随机采样未探索动作，扩展搜索树。
- �� 模拟阶段，执行动作生成轨迹，进行多轮指令反向验证。
- �� 反向传播，将硬度奖励沿路径反向传播，调整未来探索偏向。
- �� 在修正阶段，利用多轮验证机制，反复修正指令，确保语义一致。
- �� 最终筛选出高质量、语义丰富且可执行的轨迹，用于训练。
实验设计
在ANDROIDWORLD和WEBARENA两个数据集上，采用多模态视觉-语言模型（InternVL2-4B/8B、Qwen2-VL-7B）进行训练，比较基线包括OS-GENESIS、任务驱动和自我指令方法。指标包括任务成功率和指令-动作对齐度，硬度参数调优通过参数敏感性分析验证。采用不同任务类别，进行 ablation 和多场景测试，确保结果的全面性。实验还评估硬度指标的有效性和多轮验证的贡献。
结果分析
HATS在ANDROIDWORLD中整体成功率达22.6%，在WEBARENA中达24.87%，均优于OS-GENESIS，尤其在复杂模糊交互场景中提升显著。硬度指标的引入使得高难度区域探索更有效，模型能够捕获更多隐晦动作，泛化能力增强。多轮验证显著降低指令偏差，提升了轨迹的语义一致性。消融实验显示，硬度驱动探索和多轮修正是性能提升的关键因素，验证了方法的有效性。
应用场景
该技术可应用于自动化测试、智能助手、界面设计优化等场景，尤其适合复杂交互环境中的任务自动化。通过自动生成高质量轨迹，减少人工标注成本，提升模型在实际场景中的鲁棒性。未来还可结合用户反馈，动态调整硬度定义，增强系统自主学习能力，推动人机交互的智能化发展。
局限与展望
目前方法依赖预训练模型，受模型表达能力限制，复杂场景中仍存在理解不足的问题。硬度参数调优具有一定经验依赖，可能在不同应用中需要调整。极端复杂或动态界面中，探索效率可能下降，未来需结合强化学习优化策略。
通俗解读 非专业人士也能看懂
想象你在一家工厂工作，工厂里有很多不同的机器，每个机器都能做不同的事情。有些机器操作简单，比如按一下按钮就能开关；有些机器则很复杂，需要同时考虑很多因素，比如温度、压力、时间等。工厂的目标是让所有机器都能顺利完成任务，但有些操作很难理解，比如某些按钮的作用依赖于前面做过的事情，或者看起来一样但功能不同。为了让工厂更高效，工人需要知道哪些操作最难理解，特别是那些容易出错或隐藏在细节里的操作。HATS就像是给工厂装上了一个智能助手，它可以判断哪些操作最复杂，帮助工人多练习这些难点，确保每个操作都能正确完成。这样，工厂的生产效率就会大大提高，机器也能更好地协作，整个流程变得更顺畅。
简单解释 像给14岁少年讲一样
想象你在学校里玩一个游戏，你需要完成各种任务，比如找到隐藏的宝藏、解谜或者操作一些复杂的机器。每个任务都需要你做不同的动作，有些动作很容易，比如按按钮；但有些动作很难理解，比如为什么要在特定顺序做某些事情，或者看起来一样的按钮其实有不同的作用。这个游戏里，很多时候你会遇到一些隐藏的难点，比如你不知道哪个按钮会打开门，或者需要先做某个步骤才能成功。HATS就像是给你一个聪明的朋友，他能告诉你哪些动作最难，帮你多练习那些难点，让你变得更厉害。最终，你就能更快、更准确地完成任务，游戏也变得更有趣、更有挑战性。这个方法让机器人也能像你一样，学会应对复杂的任务，不会被隐藏的难点难倒。
术语表
硬度指标 (Hardness Metric)
衡量动作语义模糊程度的指标，基于动作的验证指标R(A,B)，反映动作的理解难度。
用于引导探索偏向复杂、模糊交互区域。
HD-MCTS (Hardness-Driven Monte Carlo Tree Search)
结合硬度指标的蒙特卡洛树搜索算法，用于系统性探索高难度交互。
核心算法，用于轨迹采样与优化。
反向验证指标 (Reconstruction Recall)
衡量生成指令与实际动作匹配程度的指标，反映指令的语义一致性。
用于硬度评估和修正引导。
语义模糊动作 (Semantic Ambiguous Actions)
在特定上下文中具有多重意义或易混淆的界面交互动作。
研究重点，影响轨迹多样性与模型泛化。
闭环优化 (Closed-loop Optimization)
通过探索、验证、修正不断反馈，提升轨迹合成质量的机制。
方法核心思想。
开放问题 这项研究留下的未解疑问
- 1 如何在更复杂的动态界面中保持探索效率？硬度指标在多模态、多任务环境中的适应性如何？未来是否可以结合强化学习进一步提升探索策略？
应用场景
近期应用
自动化测试
利用HATS自动生成高质量测试轨迹，提升软件界面测试的效率和覆盖率，减少人工成本，适应多样化界面设计。
智能助手
训练更鲁棒的GUI代理，支持复杂任务执行，提升智能助手在多场景下的交互能力。
远期愿景
自主学习系统
实现机器人自主理解复杂界面动作，逐步减少对人工标注的依赖，推动人机交互向更自然、更智能方向发展。
原文摘要
Graphical user interface (GUI) agents powered by large vision-language models (VLMs) have shown remarkable potential in automating digital tasks, highlighting the need for high-quality trajectory data to support effective agent training. Yet existing trajectory synthesis pipelines often yield agents that fail to generalize beyond simple interactions. We identify this limitation as stemming from the neglect of semantically ambiguous actions, whose meanings are context-dependent, sequentially dependent, or visually ambiguous. Such actions are crucial for real-world robustness but are under-represented and poorly processed in current datasets, leading to semantic misalignment between task instructions and execution. To address these issues, we propose HATS, a Hardness-Aware Trajectory Synthesis framework designed to mitigate the impact of semantic ambiguity. We define hardness as the degree of semantic ambiguity associated with an action and develop two complementary modules: (1) hardness-driven exploration, which guides data collection toward ambiguous yet informative interactions, and (2) alignment-guided refinement, which iteratively validates and repairs instruction-execution alignment. The two modules operate in a closed loop: exploration supplies refinement with challenging trajectories, while refinement feedback updates the hardness signal to guide future exploration. Extensive experiments show that agents trained with HATS consistently outperform state-of-the-art baselines across benchmark GUI environments.