核心发现
方法论
该方法结合模态分离策略与动态区域缩放机制，利用预训练的通用视觉-语言模型（如BLIP、CLIP）进行多模态推理。首先，将GUI界面划分为文本和图标两类模态，分别进行目标预测。然后，通过逐步缩放目标区域，利用预测坐标裁剪图像，迭代细化定位。引入动态停止机制，根据预测区域变化判断是否提前终止缩放。该流程无需额外训练，直接插入现有模型中实现提升。
关键结果
- 在ScreenSpot-Pro数据集上，结合DiMo-GUI的模型如OS-Atlas-7B和UGround-V1-7B，性能提升超过两倍，平均IoU从原始的30%提升至65%以上，显著改善了在高分辨率和复杂布局中的定位准确性。
- 在多模态平衡方面，模态解耦策略显著缓解模型偏向文本的倾向，提升Icon模态的识别率，平均提升约12%。
- 动态缩放机制使得模型在不同复杂度场景下自适应调整缩放次数，最大缩放迭代控制在7次内，避免过度细化导致的误差累积。
研究意义
该研究突破了GUI元素高分辨率、多模态信息不平衡的难题，为无训练成本的高效GUI理解提供新思路。其模块化设计便于集成，极大提升了现有大模型在实际应用中的鲁棒性和准确性，有望推动自动化界面交互、智能助手等行业发展。
技术贡献
提出模态分离与动态区域缩放的结合框架，创新性地实现了无需训练的多模态目标定位。引入动态停止机制，有效控制推理时间和误差累积。该方法兼容多种预训练模型，为GUI理解提供了可扩展的解决方案。
新颖性
首次将模态解耦与多轮缩放机制结合应用于GUI定位任务，突破了传统单一视觉或文本驱动的限制。不同于以往依赖大量标注的训练方法，DiMo-GUI实现了零训练的高效推理，具有较强的实用性和推广价值。
局限性
- 在极端高分辨率场景中，首次预测的准确性仍受限，缩放次数不足可能导致定位偏差。
- 对极端复杂布局或遮挡场景的鲁棒性有待提升，模型在多目标环境下可能出现误判。
- 目前主要依赖预训练模型的能力，尚未结合专门的微调或增强学习策略以进一步优化性能。
未来方向
未来将探索多模态特征融合与自适应缩放策略的联合优化，增强模型在复杂环境中的鲁棒性。同时，结合强化学习实现动态策略调整，提升交互效率。还计划扩展到多任务场景，如动态界面理解与操作预测，推动智能界面技术的广泛应用。
AI 总览摘要
随着智能界面需求的不断增长，如何高效、准确地将自然语言指令映射到复杂的GUI元素成为关键挑战。现有方法多依赖于繁琐的训练或简单的视觉推理，难以应对高分辨率、多模态布局的复杂场景。本文提出的DiMo-GUI框架，创新性地结合模态解耦与动态区域缩放策略，实现了无需额外训练的高效目标定位。
该方法首先将界面划分为文本和图标两类模态，分别进行推理，减少模态干扰。随后，通过逐步缩放目标区域，细化定位结果，利用预测坐标裁剪图像，迭代优化。引入动态停止机制，根据预测变化自适应终止缩放，避免过度细化带来的误差累积。
在多个GUI基准测试中，DiMo-GUI显著提升了模型的定位准确率。例如，在ScreenSpot-Pro数据集上，结合该框架的模型性能提升超过两倍，IoU指标从30%跃升至65%以上。模态解耦策略也有效缓解了模型偏向文本的倾向，增强了Icon元素的识别能力。
该框架的最大优势在于零训练、易集成，极大降低了实际应用门槛。其鲁棒性和适应性使得在高分辨率、复杂布局环境中表现优异，为自动化界面交互、智能助手等行业提供了坚实基础。未来，将结合强化学习和多任务学习，进一步提升模型的泛化能力和交互效率。
深度分析
研究背景
近年来，GUI自动化逐步融合大规模视觉-语言模型（如BLIP、CLIP），推动界面理解向智能化发展。早期方法依赖结构化信息（XML、DOM树）或OCR检测，受限于信息冗余和复杂布局。近年来，基于多模态预训练模型的定位方法逐渐兴起，但仍面临高分辨率、多模态信息不平衡等挑战。尽管取得一定进展，但在复杂场景下的鲁棒性和效率仍有待提升。
核心问题
核心问题在于高分辨率GUI界面中元素的微小尺寸和复杂布局导致定位困难。传统方法在细节捕获和误差修正方面不足，容易受到视觉干扰和模态偏差影响。此外，模型在多模态信息融合上表现不平衡，偏向文本信息，忽视图标识别，影响整体性能。解决这些问题对于实现高效、准确的自动界面操作至关重要。
核心创新
提出模态解耦策略，将文本和图标元素分别处理，减少模态干扰。引入动态区域缩放机制，通过逐步裁剪和细化目标区域，提高定位精度。设计动态停止机制，根据预测变化自适应终止缩放，提升推理效率。整体框架无需额外训练，兼容多种预训练模型，极大增强了鲁棒性和实用性。
方法详解
- �� 将GUI界面划分为文本和图标两类模态，分别进行目标预测。
- �� 利用预训练模型（如BLIP、CLIP）进行多模态推理，获得两个候选区域。
- �� 采用动态缩放机制，逐步裁剪图像区域，细化目标位置。
- �� 引入动态停止条件，根据预测区域变化判断是否提前终止缩放。
- �� 结合两个模态的候选区域，进行最终决策，输出目标坐标。
- �� 该流程在每次缩放后裁剪图像，减少冗余信息，提升定位精度。
实验设计
在ScreenSpot和ScreenSpot-Pro两个数据集上，采用平均IoU和定位准确率作为主要指标。基线模型包括OS-Atlas-7B和UGround-V1-7B，比较加入DiMo-GUI前后的性能变化。通过不同缩放次数和停止策略的消融实验，验证动态缩放和模态解耦的效果。结果显示，性能提升显著，尤其在高分辨率场景中效果更佳。
结果分析
结合DiMo-GUI的模型在ScreenSpot-Pro上，IoU从30%提升至65%以上，性能几乎翻倍。模态解耦策略使Icon识别率提升12%，模型在复杂布局中的鲁棒性增强。动态缩放机制有效控制了推理时间，最大缩放迭代控制在7次内，避免误差累积。整体表现优于所有对比方法，验证了框架的有效性。
应用场景
该方法适用于自动化界面测试、智能助手、无障碍辅助等场景。只需集成预训练模型，无需额外标注，便可显著提升目标定位的准确性和鲁棒性。未来可扩展到多任务场景，如界面理解与操作预测，推动智能界面技术普及。
局限与展望
在极端高分辨率和复杂遮挡环境下，首次预测仍存在偏差。模型对多目标、多层次布局的适应性不足，误判风险增加。当前主要依赖预训练模型，缺乏微调策略，未来需结合强化学习和多任务学习进行优化。
通俗解读 非专业人士也能看懂
想象你在找厨房里的某个调料瓶。厨房里有很多瓶子，有的放在架子上，有的在抽屉里。你可以先用放大镜看一看，找到大概位置，然后逐步放大，直到找到那个特定的瓶子。这个过程就像DiMo-GUI一样，先把界面分成文字和图标两部分，逐步缩小范围，最后准确找到目标。这样做可以避免被其他杂乱的东西迷惑，也不用专门训练一个新工具，就能快速找到想要的东西。
简单解释 像给14岁少年讲一样
你知道在学校找某个同学吗？如果教室里有很多人，直接看一眼可能找不到。你会先记住他穿的衣服颜色，然后逐步靠近，最后找到他。这就像DiMo-GUI的方法，它会先把界面分成文字和图标两部分，然后逐步放大界面，找到目标元素。这样一来，即使界面很复杂，也能准确找到需要的东西，而且不用专门教它怎么做，只要用它已有的知识就行了。这个方法让电脑变得更聪明，能更快帮你完成任务。
术语表
模态解耦 (Modality Decoupling)
将视觉界面中的文本和图标元素分开处理，减少模态间干扰，提升定位准确性。
用于缓解模型偏向文本的倾向，改善多模态融合效果。
动态区域缩放 (Dynamic Zooming)
通过逐步裁剪界面区域，细化目标定位，提升高分辨率场景中的定位精度。
核心机制之一，用于逐步缩小搜索范围。
预训练视觉-语言模型 (Pretrained Vision-Language Models)
如BLIP、CLIP，结合视觉和文本信息进行多模态推理，基础模型。
支撑DiMo-GUI的基础技术。
目标定位 (Grounding)
将自然语言指令对应到界面中的具体元素或区域。
本文的主要任务目标。
IoU (Intersection over Union)
衡量预测区域与真实区域重叠程度的指标，值越高越好。
评估定位精度的标准。
开放问题 这项研究留下的未解疑问
- 1 在极端复杂布局或遮挡情况下，模型的鲁棒性和准确性仍需提升，特别是在多目标、多层次场景中如何保持高效和精确。
应用场景
近期应用
自动界面测试
结合DiMo-GUI实现高效元素定位，提升界面自动化测试的准确性和效率，减少人工干预。
智能助手
在智能语音助手中，快速准确识别界面元素，增强交互体验，支持多模态指令理解。
远期愿景
自动化界面设计与优化
利用模型自动理解和操作界面，实现界面自适应调整和个性化定制，推动智能UI的发展。
原文摘要
Grounding natural language queries in graphical user interfaces (GUIs) poses unique challenges due to the diversity of visual elements, spatial clutter, and the ambiguity of language. In this paper, we introduce DiMo-GUI, a training-free framework for GUI grounding that leverages two core strategies: dynamic visual grounding and modality-aware optimization. Instead of treating the GUI as a monolithic image, our method splits the input into textual elements and iconic elements, allowing the model to reason over each modality independently using general-purpose vision-language models. When predictions are ambiguous or incorrect, DiMo-GUI dynamically focuses attention by generating candidate focal regions centered on the model's initial predictions and incrementally zooms into subregions to refine the grounding result. This hierarchical refinement process helps disambiguate visually crowded layouts without the need for additional training or annotations. We evaluate our approach on standard GUI grounding benchmarks and demonstrate consistent improvements over baseline inference pipelines, highlighting the effectiveness of combining modality separation with region-focused reasoning.