GeoEyes: On-Demand Visual Focusing for Evidence-Grounded Understanding of Ultra-High-Resolution Remote Sensing Imagery
GeoEyes通过AdaZoom-GRPO提升UHR遥感图像理解，XLRS-Bench准确率达54.23%。
核心发现
方法论
GeoEyes采用分阶段训练框架，包括UHR-CoZ数据集的冷启动监督微调和AdaZoom-GRPO强化学习方法。UHR-CoZ涵盖多种缩放模式，AdaZoom-GRPO通过奖励机制提升证据获取和答案改进。
关键结果
- GeoEyes在XLRS-Bench上取得54.23%的准确率，比DeepEyes提高了4.23%。
- 在对象分类任务中，GeoEyes的准确率达到66.1%，显著高于Qwen3-VL-235B的39.0%。
- 在整体计数任务中，GeoEyes的表现优于其他模型，显示出其在细粒度感知任务中的优势。
研究意义
GeoEyes通过动态缩放策略解决了超高分辨率遥感图像中证据稀疏的问题，为多模态大语言模型在遥感领域的应用提供了新思路，具有重要的学术和产业影响。
技术贡献
GeoEyes引入了UHR-CoZ数据集和AdaZoom-GRPO算法，解决了工具使用同质化问题，提供了新的理论保证和工程可能性，显著提升了模型在UHR场景中的适应性。
新颖性
GeoEyes首次在UHR遥感场景中实现了任务自适应的缩放策略，与现有方法相比，显著提高了证据获取效率和答案准确性。
局限性
- GeoEyes在处理极端复杂场景时可能仍存在性能下降的问题，尤其是在证据极度稀疏的情况下。
- 模型的计算开销较大，可能限制其在资源受限环境中的应用。
未来方向
未来研究可以探索更高效的缩放策略和更广泛的应用场景，如实时监测和动态环境分析。
AI 总览摘要
在超高分辨率遥感图像中，任务相关的线索通常稀疏且微小，现有方法难以有效获取证据。GeoEyes通过引入UHR-CoZ数据集和AdaZoom-GRPO算法，解决了工具使用同质化的问题，显著提升了证据获取效率和答案准确性。
GeoEyes在XLRS-Bench上取得了54.23%的准确率，显著优于现有的多模态大语言模型。其动态缩放策略使得模型能够在需要时进行多轮缩放，而在不需要时则停止，避免了不必要的计算开销。
这一方法不仅在学术界具有重要意义，也为遥感领域的实际应用提供了新的可能性，如提高卫星图像分析的精度和效率。未来研究可以进一步优化缩放策略，并探索其在实时监测和动态环境分析中的应用。
深度分析
研究背景
遥感技术在地球科学中扮演着越来越重要的角色，尤其是超高分辨率卫星图像能够捕捉到复杂地表模式的细微结构。然而，现有的多模态大语言模型在处理这些图像时，往往难以有效获取任务相关的细粒度信息。
核心问题
在超高分辨率遥感场景中，任务相关的线索通常稀疏且微小，现有方法难以有效获取证据，导致答案准确性受限。如何在不增加计算开销的情况下，提升模型的证据获取能力，是一个亟待解决的问题。
核心创新
GeoEyes通过引入UHR-CoZ数据集和AdaZoom-GRPO算法，实现了任务自适应的缩放策略。UHR-CoZ涵盖多种缩放模式，AdaZoom-GRPO通过奖励机制提升证据获取和答案改进，显著提高了模型在UHR场景中的适应性。
方法详解
- �� 使用UHR-CoZ数据集进行冷启动监督微调，涵盖多种缩放模式。
- �� 应用AdaZoom-GRPO算法，通过奖励机制提升证据获取和答案改进。
- �� 在XLRS-Bench上进行实验验证，评估模型的准确性和效率。
实验设计
实验在XLRS-Bench上进行，使用UHR-CoZ数据集进行冷启动监督微调，并应用AdaZoom-GRPO算法进行强化学习。实验评估了模型在多个子任务上的表现，包括对象分类、整体计数等。
结果分析
GeoEyes在XLRS-Bench上取得了54.23%的准确率，显著优于现有的多模态大语言模型。在对象分类任务中，GeoEyes的准确率达到66.1%，在整体计数任务中也表现优异。
应用场景
GeoEyes可用于提高卫星图像分析的精度和效率，尤其是在需要细粒度感知的任务中，如环境监测和城市规划。
局限与展望
GeoEyes在处理极端复杂场景时可能仍存在性能下降的问题，尤其是在证据极度稀疏的情况下。此外，模型的计算开销较大，可能限制其在资源受限环境中的应用。
通俗解读 非专业人士也能看懂
想象你在一个巨大的拼图游戏中，只有少数几块拼图是有用的。GeoEyes就像一个聪明的助手，能够快速找到这些有用的拼图，并把它们放在一起。它通过缩放工具，仔细检查每一块拼图，确保找到最相关的信息。这样，即使拼图游戏非常复杂，它也能帮助你快速完成。
简单解释 像给14岁少年讲一样
想象一下你在玩一个超大的拼图游戏，拼图块数以万计，但只有几块是有用的。GeoEyes就像一个超级聪明的助手，能帮你快速找到这些关键的拼图块！它会用放大镜仔细查看每一块，确保不遗漏任何重要信息。这样，即使拼图游戏再复杂，它也能帮你轻松搞定！
术语表
GeoEyes
GeoEyes是一种用于超高分辨率遥感图像分析的多模态大语言模型，能够实现任务自适应的缩放策略。
在论文中，GeoEyes用于提高遥感图像分析的准确性和效率。
UHR-CoZ
UHR-CoZ是一个用于冷启动监督微调的数据集，涵盖多种缩放模式。
在论文中，UHR-CoZ用于初始化GeoEyes的基本视觉规划能力。
AdaZoom-GRPO
AdaZoom-GRPO是一种强化学习方法，通过奖励机制提升证据获取和答案改进。
在论文中，AdaZoom-GRPO用于优化GeoEyes的工具使用策略。
XLRS-Bench
XLRS-Bench是一个用于评估遥感图像分析模型性能的基准数据集。
在论文中，XLRS-Bench用于验证GeoEyes的准确性和效率。
工具使用同质化
工具使用同质化指的是模型在任务中使用工具的模式趋于一致，导致证据获取效率低下。
在论文中，工具使用同质化是GeoEyes需要解决的关键问题之一。
开放问题 这项研究留下的未解疑问
- 1 如何在不增加计算开销的情况下，进一步提升模型在极端复杂场景中的性能。
- 2 如何优化GeoEyes的缩放策略，以适应更广泛的应用场景。
应用场景
近期应用
卫星图像分析
GeoEyes可用于提高卫星图像分析的精度和效率，尤其是在需要细粒度感知的任务中。
远期愿景
实时环境监测
GeoEyes有潜力用于实时环境监测，通过动态缩放策略提高监测精度。
原文摘要
The "thinking-with-images" paradigm enables multimodal large language models (MLLMs) to actively explore visual scenes via zoom-in tools. This is essential for ultra-high-resolution (UHR) remote sensing VQA, where task-relevant cues are sparse and tiny. However, we observe a consistent failure mode in existing zoom-enabled MLLMs: Tool Usage Homogenization, where tool calls collapse into task-agnostic patterns, limiting effective evidence acquisition. To address this, we propose GeoEyes, a staged training framework consisting of (1) a cold-start SFT dataset, UHR Chain-of-Zoom (UHR-CoZ), which covers diverse zooming regimes, and (2) an agentic reinforcement learning method, AdaZoom-GRPO, that explicitly rewards evidence gain and answer improvement during zoom interactions. The resulting model learns on-demand zooming with proper stopping behavior and achieves substantial improvements on UHR remote sensing benchmarks, with 54.23% accuracy on XLRS-Bench.