核心发现
方法论
Chain-of-Ground (CoG) 是一个无训练的多步定位框架，利用多模态大语言模型进行迭代视觉推理和细化。其核心组件包括迭代推理和参考反馈。迭代推理通过多次更新假设来提高定位精度，而参考反馈则利用视觉或文本信号引导模型修正预测。
关键结果
- 在ScreenSpot-Pro基准上，CoG的三步模型实现了68.4%的准确率，比之前的最佳模型提高了4.8%。
- 在TPanel-UI数据集上，CoG比强基线Qwen3-VL-235B提高了6.9个百分点，展示了其在真实世界和数字界面的有效性。
- 消融研究表明，增加迭代次数可显著提高定位精度，三步模型比单步模型提高了4.5%。
研究意义
该研究通过无训练的迭代细化方法，显著提升了复杂GUI界面的定位精度，解决了小目标和视觉相似目标定位的难题。这一方法不仅在学术界具有重要意义，还为工业应用提供了新的解决方案。
技术贡献
CoG框架与现有的单步预测方法不同，通过结构化的迭代细化过程提高了模型的稳定性和可解释性。它不依赖额外的训练，提供了一种新的工程实现可能性。
新颖性
CoG首次将迭代推理和参考反馈结合用于GUI定位，突破了传统方法在复杂界面中的局限，提供了一种新的定位思路。
局限性
- 在某些复杂场景中，模型可能仍然难以处理高度相似的视觉元素。
- 需要进一步研究如何在更大规模的工业应用中保持高效。
未来方向
未来研究方向包括优化反馈机制以提高模型的适应性，探索在更复杂的工业环境中的应用，以及结合其他多模态信息以提升定位精度。
AI 总览摘要
在复杂的用户界面中，准确的GUI定位一直是一个挑战。现有的多模态大语言模型虽然在视觉定位上表现出色，但在处理小目标和视觉相似目标时仍然存在困难。Chain-of-Ground (CoG) 提出了一种无训练的多步定位框架，通过迭代推理和参考反馈来提高定位精度。
CoG框架的核心在于其迭代推理和参考反馈机制。通过多次更新假设，模型能够更准确地反映和调整其预测，从而实现更准确和可解释的定位。在ScreenSpot-Pro基准上，CoG的三步模型实现了68.4%的准确率，比之前的最佳模型提高了4.8%。
这一研究不仅在学术界具有重要意义，还为工业应用提供了新的解决方案。未来的研究方向包括优化反馈机制以提高模型的适应性，探索在更复杂的工业环境中的应用，以及结合其他多模态信息以提升定位精度。
深度分析
研究背景
GUI定位是将自然语言指令与复杂用户界面中的精确区域对齐的过程。随着多模态大语言模型的发展，视觉GUI定位能力显著提升。然而，在处理小目标和视觉相似目标时，模型仍然面临挑战。现有方法多依赖单步预测，难以在复杂场景中保持稳定性和可解释性。
核心问题
在复杂的用户界面中，准确定位小目标和视觉相似目标是一个难题。现有方法在处理这些场景时往往表现不佳，导致定位不准确和结果不稳定。这一问题的解决对于提高多模态系统的可靠性和自主性至关重要。
核心创新
CoG通过结合迭代推理和参考反馈，提供了一种新的定位思路。迭代推理允许模型多次更新假设，提高定位精度；参考反馈通过视觉或文本信号引导模型修正预测。这一方法不依赖额外的训练，提供了一种新的工程实现可能性。
方法详解
- �� 迭代推理：模型通过多次更新假设来提高定位精度。
- �� 参考反馈：利用视觉或文本信号引导模型修正预测。
- �� 多步细化：通过多次迭代，模型能够更准确地反映和调整其预测。
实验设计
实验在ScreenSpot-Pro和TPanel-UI数据集上进行。ScreenSpot-Pro包含高分辨率专业GUI，TPanel-UI则包括420个标注的工业控制面板。实验使用多种多模态大语言模型作为基线，评估CoG的定位精度和稳定性。
结果分析
在ScreenSpot-Pro基准上，CoG的三步模型实现了68.4%的准确率，比之前的最佳模型提高了4.8%。在TPanel-UI数据集上，CoG比强基线Qwen3-VL-235B提高了6.9个百分点，展示了其在真实世界和数字界面的有效性。
应用场景
CoG在复杂GUI界面的定位中具有广泛应用前景，特别是在需要高精度和稳定性的工业控制面板中。其无训练的特性使其易于集成到现有系统中。
局限与展望
在某些复杂场景中，模型可能仍然难以处理高度相似的视觉元素。需要进一步研究如何在更大规模的工业应用中保持高效。
通俗解读 非专业人士也能看懂
想象你在一个大型超市里找东西。超市里有很多货架，每个货架上都有很多相似的商品。你需要找到特定的商品，比如一种特定品牌的饼干。传统的方法就像是直接走到货架前，试图一次性找到目标商品。但这很难，因为商品太多太相似。Chain-of-Ground的方法就像是先找到一个大概的区域，然后逐步缩小范围，直到找到确切的商品。每一步你都可以回头看看之前的选择，确保没有遗漏。这种方法让你更容易找到目标商品，即使它藏在一堆相似的商品中。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，需要在一个复杂的地图上找到一个隐藏的宝藏。地图上有很多相似的标记，直接找到宝藏很难。Chain-of-Ground就像是一个聪明的助手，它会先帮你找到一个大概的区域，然后一步步缩小范围。每一步它都会告诉你之前的选择，让你可以调整方向，直到找到宝藏。这种方法让你更容易成功，即使地图很复杂！
术语表
多模态大语言模型
结合视觉和语言信息的模型，能够处理复杂的多模态任务。
用于迭代推理和参考反馈的核心技术。
迭代推理
通过多次更新假设来提高模型预测精度的方法。
CoG框架的核心组件之一。
参考反馈
利用视觉或文本信号引导模型修正预测的机制。
帮助模型在迭代过程中调整预测。
ScreenSpot-Pro
一个用于评估GUI定位精度的高分辨率专业基准数据集。
CoG在该数据集上实现了新的状态-of-the-art。
TPanel-UI
包含420个标注的工业控制面板的数据集，用于测试模型的真实世界鲁棒性。
用于评估CoG在工业环境中的应用效果。
开放问题 这项研究留下的未解疑问
- 1 如何在更大规模的工业应用中保持高效？
- 2 如何进一步优化反馈机制以提高模型的适应性？
应用场景
近期应用
工业控制面板
在工业环境中，CoG可以用于提高控制面板的操作精度，减少误操作。
远期愿景
智能家居
在智能家居中，CoG可以用于更精确地识别和操作家电设备，提高用户体验。
原文摘要
GUI grounding aims to align natural language instructions with precise regions in complex user interfaces. Advanced multimodal large language models show strong ability in visual GUI grounding but still struggle with small or visually similar targets and ambiguity in real world layouts. These limitations arise from limited grounding capacity and from underuse of existing reasoning potential. We present Chain of Ground CoG a training free multi step grounding framework that uses multimodal large language models for iterative visual reasoning and refinement. Instead of direct prediction the model progressively reflects and adjusts its hypotheses leading to more accurate and interpretable localization. Our approach achieves 68.4 accuracy on the ScreenSpot Pro benchmark an improvement of 4.8 points. To measure real world generalization we introduce TPanel UI a dataset of 420 labeled industrial control panels with visual distortions such as blur and masking. On TPanel UI Chain of Ground improves over the strong baseline Qwen3 VL 235B by 6.9 points showing the effectiveness of multi step training free grounding across real world and digital interfaces. These results highlight a direction for unlocking grounding potential through structured iterative refinement instead of additional training.