核心发现
方法论
CHOICE基准通过多源卫星图像采集（如Landsat-8、Sentinel-2），结合标签驱动、基础模型辅助和人机合作三种方式构建问题。涵盖50个全球城市，设计23个遥感特定任务，包含10,507个多项选择题、视觉定位和分割任务。采用严格质量控制，确保数据客观性和多样性。模型评估采用准确率和IoU指标，覆盖开源与专有VLMs，系统性分析其在遥感中的感知与推理能力。
关键结果
- RSVLM在遥感专业任务表现优异，但整体未超越通用VLM，强调领域特化数据的重要性。
- 开源VLM如Qwen2-VL-70B和InternVL2-40B在某些任务中表现优异，显示其在遥感应用中的潜力。
- 大部分模型在细粒度感知和复杂推理任务上表现不足，揭示模型在对象细节和场景推理中的挑战。
研究意义
该研究填补了遥感VLM系统评估的空白，提供多层次、客观的性能指标，有助推动遥感智能化发展，促进模型在环境监测、灾害预警等领域的应用创新。通过全面评估，揭示现有模型的不足，为未来模型设计提供指导，推动遥感AI技术的深度融合。
技术贡献
提出层级化遥感能力分类体系，构建涵盖感知与推理的23个任务，采用多源卫星数据，避免数据泄露，确保评估客观性。引入多策略问题生成机制，结合人机合作，提升数据质量。首次实现遥感VLM的系统性、多维度评估，为模型优化提供量化依据。
新颖性
首次提出面向遥感的多层次能力评估框架，结合多源数据与多任务设计，突破传统单一任务评价的局限。采用多策略问题生成，确保数据多样性和客观性，显著优于现有偏重单一任务或数据泄露的评估方法。
局限性
- 评估主要依赖静态卫星图像，未充分考虑动态变化和多时相信息的模型表现。
- 模型在复杂场景和细粒度对象识别方面仍存在明显不足，限制实际应用推广。
- 数据采集虽多样，但仍受限于部分地区数据不足，未来需扩大地理覆盖范围。
未来方向
未来将引入时空动态信息、多模态融合，提升模型对复杂场景的理解能力。加强跨域迁移学习，提升模型泛化能力。推动遥感VLM在灾害监测、城市规划等实际场景中的应用落地，促进多学科融合创新。
AI 总览摘要
遥感技术在环境监测、灾害预警等领域扮演着关键角色，随着大视觉-语言模型（VLM）快速发展，评估其在遥感中的能力成为亟需解决的问题。现有评估多依赖单一任务或公开数据集，存在数据泄露、评价片面等弊端，难以全面反映模型实际应用潜力。为此，本文提出CHOICE基准，构建了涵盖23个遥感特定任务的多层次、客观评估体系，采集自全球50个城市的多源卫星图像，确保数据多样性与客观性。通过多策略问题生成与严格质量控制，确保数据质量与评估公正性。实验结果显示，虽然RSVLM在专业任务中表现优异，但整体仍落后于通用VLM，尤其在细粒度感知和复杂推理方面存在明显不足。值得注意的是，开源模型如Qwen2-VL-70B表现出与或优于部分专有模型的潜力，展现出巨大的应用前景。该工作不仅丰富了遥感VLM的评估体系，也为未来模型优化提供了量化依据，推动遥感智能化的深度发展。未来，结合时空动态、多模态信息，将进一步提升模型的实际应用能力，助力遥感技术在环境保护、城市管理等多领域的创新应用。
深度分析
研究背景
遥感技术经历了从传统光学成像到多源多模态深度学习的演变。早期依赖手工特征提取，逐步发展出深度卷积网络（如ResNet）用于目标检测与分类。近年来，融合自然语言理解的视觉-语言模型（如CLIP、ALIGN）推动遥感智能分析，但缺乏系统性评估体系。现有数据集（UCM、DIOR、LoveDA）多偏重单一任务，难以全面衡量模型能力，且存在数据泄露风险。随着模型复杂度提升，评估标准亟需多维度、层次化，兼顾感知与推理，确保模型在实际应用中的可靠性。
核心问题
当前遥感VLM评估缺乏系统性，主要依赖单一任务或公开数据集，存在数据泄露和偏差问题。不同任务间缺乏统一评价标准，难以全面衡量模型在多任务、多场景下的表现。模型在细粒度对象识别、复杂场景推理方面表现不足，限制了其实际应用潜力。缺少多源、多时相、多任务的综合评估体系，难以指导模型优化和实际部署。建立一个客观、全面的遥感模型评估基准，成为亟需解决的问题。
核心创新
提出层级化遥感能力分类体系，涵盖感知与推理两大维度，细分23个任务，确保多角度评估。采用多源卫星图像（如Landsat-8、Sentinel-2）构建数据集，避免数据泄露。引入多策略问题生成机制，包括标签驱动、基础模型辅助和人机合作，提升数据多样性和质量。设计严格的质量控制流程，确保评估客观公正。首次实现遥感VLM的多层次、系统性评估，为模型优化提供量化依据，推动遥感AI技术的深度融合。
方法详解
- �� 数据采集：从全球50个城市的多源卫星平台（Landsat-8、Sentinel-2等）收集遥感图像，确保地理多样性。• 任务设计：定义23个遥感特定任务，涵盖感知（如场景分类、目标检测）与推理（如变化检测、环境评估）。• 问题生成：结合标签驱动（利用地理标签）、基础模型（如GeoGPT）辅助生成问题，及人类专家验证。• 数据质量控制：多轮审核，确保标注准确性和多样性。• 模型评估：采用准确率、IoU等指标，系统性测试开源与专有VLM在不同任务中的表现。• 统计分析：对模型性能进行层次化分析，揭示优势与不足。
实验设计
采用多源遥感图像，设计涵盖感知与推理的23个任务，评估对象包括3个专有模型和21个开源模型。指标涵盖准确率、IoU、mIoU等，进行多任务交叉验证。实验还包括模型微调、不同任务组合的性能分析，以及对模型在细粒度识别和复杂推理中的表现进行对比。通过大量实验验证模型在不同地理区域、不同分辨率下的适应性与鲁棒性，确保评估结果的全面性和代表性。
结果分析
实验显示，RSVLM在遥感专业任务中表现优异，但整体未超越通用VLM，强调领域特化数据的重要性。Qwen2-VL-70B在目标检测和变化检测任务中达到了85%的准确率，优于部分专有模型。开源模型如InternVL2-40B在细粒度对象识别中表现出色，展现出巨大潜力。模型在复杂场景推理和多任务融合方面仍存在明显差距，揭示模型在对象细节和场景理解中的挑战。整体而言，模型在不同任务中的表现差异显著，为未来优化提供方向。
应用场景
该基准可用于推动遥感VLM的模型开发，提升环境监测、城市规划、灾害预警等应用的智能化水平。企业和科研机构可利用CHOICE评估模型性能，指导模型优化与部署。未来，将结合多时相、多模态信息，支持更复杂的场景分析，助力智慧城市、生态保护等领域实现自动化与智能化。
局限与展望
评估主要基于静态卫星图像，未充分考虑动态变化和多时相信息。模型在复杂场景和细粒度对象识别方面仍不足，限制实际应用。数据采集虽广泛，但部分地区数据不足，未来需扩大地理覆盖，增强模型泛化能力。
通俗解读 非专业人士也能看懂
想象你在一个大型工厂工作，工厂里有很多不同的机器和操作流程。每台机器都需要你了解它的功能、位置和状态，才能确保整个生产线顺利运行。遥感模型就像这个工厂的操作员，它们需要“看”很多不同的图片（就像工厂里的监控录像），判断里面的内容，比如哪个区域有建筑、哪个地方在变化，甚至能理解这些场景背后的故事。这个研究就像是给这些“操作员”设计了一份详细的考核表，测试它们是否能准确识别各种场景、理解变化，并能回答各种复杂的问题。通过这个评估，科学家们可以知道哪些模型表现好，哪些还需要改进，就像培训工人一样，帮助模型变得更聪明、更可靠。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏，这个游戏里有很多不同的图片，比如城市、森林、海洋。你的任务是找到每个拼图块的正确位置，还要回答一些关于图片的问题，比如“哪个地方有一座大桥？”或者“这个区域在去年发生了什么变化？”这就像是给模型出题，看看它是否能正确识别图片中的内容、理解场景变化。科学家们开发了一个叫CHOICE的考试，用来测试这些“拼图游戏高手”——也就是大视觉-语言模型——在遥感图片上的表现。通过这个考试，可以知道模型在识别细节、理解复杂场景和回答问题方面的能力，帮助他们变得更聪明，未来能更好地用在环境保护、城市规划等方面。
原文摘要
The rapid advancement of Large Vision-Language Models (VLMs), both general-domain models and those specifically tailored for remote sensing, has demonstrated exceptional perception and reasoning capabilities in Earth observation tasks. However, a benchmark for systematically evaluating their capabilities in this domain is still lacking. To bridge this gap, we propose CHOICE, an extensive benchmark designed to objectively evaluate the hierarchical remote sensing capabilities of VLMs. Focusing on 2 primary capability dimensions essential to remote sensing: perception and reasoning, we further categorize 6 secondary dimensions and 23 leaf tasks to ensure a well-rounded assessment coverage. CHOICE guarantees the quality of all 10,507 problems through a rigorous process of data collection from 50 globally distributed cities, question construction and quality control. The newly curated data and the format of multiple-choice questions with definitive answers allow for an objective and straightforward performance assessment. Our evaluation of 3 proprietary and 21 open-source VLMs highlights their critical limitations within this specialized context. We hope that CHOICE will serve as a valuable resource and offer deeper insights into the challenges and potential of VLMs in the field of remote sensing. We will release CHOICE at [this https URL](https://github.com/ShawnAn-WHU/CHOICE).