核心发现
方法论
ROVER是一种轻量级的插件，通过对象中心的视觉证据路由来提高多图像推理效率。它通过注入步骤特定的标记三元组来聚合推理上下文，提取图像内线索，并在视觉工作空间中整合跨对象和图像的历史证据。
关键结果
- ROVER在MM-GCoT数据集上提高了4.8%的答案准确性和14.6%的定位准确性。
- 在VideoEspresso数据集上，答案准确性提高了8.6%。
- 模型在多样化基准上平均表现优于基础模型4.7%。
研究意义
ROVER解决了现有方法在处理多图像推理时的效率问题，特别是在需要全局场景理解和对象间关系建模时。它为多模态大语言模型提供了新的方法来处理复杂的视觉推理任务。
技术贡献
ROVER通过对象中心的差异注意力机制和视觉工作空间实现了全局视觉证据路由，与现有的RoI重编码和重采样方法相比，提供了更高效的解码机制。
新颖性
ROVER首次实现了对象中心的视觉证据路由，突破了传统RoI方法的局限，提供了更全面的场景理解。
局限性
- ROVER在处理高分辨率图像时可能面临计算成本问题。
- 需要进一步优化以处理更复杂的场景。
未来方向
未来工作可以探索ROVER在更多多模态任务中的应用，以及优化其计算效率。
AI 总览摘要
多模态大语言模型在视觉推理方面取得了显著进展，但现有方法在处理多图像推理时面临效率和准确性问题。ROVER通过对象中心的视觉证据路由提供了一种新的解决方案。它通过注入标记三元组来聚合推理上下文，提取图像内线索，并整合历史证据，从而提高推理准确性。实验结果表明，ROVER在MM-GCoT和VideoEspresso数据集上表现出色，显著提高了答案和定位准确性。这项研究不仅在学术界具有重要意义，还为工业界提供了新的视觉推理方法。尽管ROVER在处理复杂场景时仍有局限，但其创新性和高效性为未来的研究提供了重要方向。
深度分析
研究背景
多模态大语言模型在视觉和语言理解方面取得了显著进展。近年来，研究者们尝试通过语言中心的推理机制来提高模型的视觉推理能力。然而，现有方法在处理多图像推理时面临效率和准确性问题，特别是在需要全局场景理解和对象间关系建模时。
核心问题
现有的基于RoI的方法在处理多图像推理时效率低下，难以实现全局场景理解和对象间关系建模。这导致模型在复杂场景中容易出现错误推理和幻觉。
核心创新
ROVER通过对象中心的视觉证据路由提供了一种新的解决方案。它通过注入标记三元组来聚合推理上下文，提取图像内线索，并整合历史证据，从而提高推理准确性。
方法详解
- �� ROVER通过对象中心的差异注意力机制提取图像内线索。
- �� 视觉工作空间用于整合跨对象和图像的历史证据。
- �� 标记三元组用于聚合推理上下文。
实验设计
实验使用MM-GCoT和VideoEspresso数据集进行评估，严格遵循原始数据集和评估协议。通过与现有方法的比较，ROVER在答案准确性和定位准确性方面表现出色。
结果分析
ROVER在MM-GCoT数据集上提高了4.8%的答案准确性和14.6%的定位准确性。在VideoEspresso数据集上，答案准确性提高了8.6%。模型在多样化基准上平均表现优于基础模型4.7%。
应用场景
ROVER可用于需要全局场景理解和对象间关系建模的多模态任务，如自动驾驶和智能监控。
局限与展望
ROVER在处理高分辨率图像时可能面临计算成本问题。需要进一步优化以处理更复杂的场景。
通俗解读 非专业人士也能看懂
想象一个工厂，工人们需要在不同的生产线上协作完成产品。现有方法就像只关注某个生产线的工人，忽略了整个工厂的协调。ROVER则像一个协调员，确保每个生产线的信息都被整合，最终生产出更高质量的产品。
简单解释 像给14岁少年讲一样
想象你在玩一个多人游戏，你需要和队友合作才能赢。现有方法就像只关注你自己，而忽略了队友的行动。ROVER就像一个团队指挥官，确保每个队友的信息都被整合，帮助团队取得胜利。
术语表
ROVER (路由对象中心视觉证据)
一种用于多图像推理的轻量级插件，通过对象中心的视觉证据路由提高推理效率。
ROVER在每个对象定位预测时注入标记三元组。
MM-GCoT (多模态链式推理)
一种用于评估多模态推理能力的数据集，包含复杂的视觉和语言任务。
ROVER在MM-GCoT上表现出色。
VideoEspresso (视频推理)
一个用于评估视频推理能力的数据集，包含多图像推理任务。
ROVER在VideoEspresso上提高了答案准确性。
对象中心差异注意力 (DiffAttn)
一种用于提取图像内线索的注意力机制，能够抑制干扰因素。
ROVER使用对象中心差异注意力提取线索。
视觉工作空间 (VWS)
一个用于整合跨对象和图像的历史证据的结构化路由基质。
ROVER通过视觉工作空间整合证据。
开放问题 这项研究留下的未解疑问
- 1 如何进一步优化ROVER以处理更复杂的场景？
- 2 ROVER在高分辨率图像上的计算成本问题如何解决？
应用场景
近期应用
自动驾驶
ROVER可用于自动驾驶系统，提高车辆对复杂场景的理解能力。
远期愿景
智能监控
ROVER可用于智能监控系统，实现更高效的场景分析和事件识别。
原文摘要
Multimodal Large Language Models (MLLMs) have increasingly localized and interleaved visual evidence for deliberative reasoning. Grounding-based approaches typically focus on regions of interest (RoIs) by injecting cropped image patches or RoI-specific features into the reasoning context. However, such designs can weaken holistic scene understanding and inter-object relations, while incurring decoding costs that scale with the number and size of RoIs. Alternatively, adaptive visual feature selection often requires fine-grained supervision or complex heuristics. To address these limitations, we propose ROVER (Routing Object-centric Visual Evidence for grounded multi-image Reasoning), a lightweight, learnable plugin for efficient global visual evidence routing. Upon each object grounding prediction, ROVER injects a step-specific token triplet to synergistically: (i) aggregate the ongoing reasoning context, (ii) distill intra-image cues into a visual working space via object-centric differential attention, and (iii) route and integrate history-aware evidence across objects and images within this space for subsequent reasoning. We integrate ROVER into Qwen2.5-VL-7B and develop an interleaved SFT-to-GRPO training pipeline. Strictly adhering to the original datasets and evaluation protocols, our method achieves the best performance on MM-GCoT (+4.8% answer accuracy, +14.6% grounding accuracy) and VideoEspresso (+8.6% answer accuracy). The VideoEspresso-trained model demonstrates strong transferability, outperforming the base model by +4.7% on average across diverse benchmarks.