核心发现
方法论
本研究设计了ActiView基准，结合视图缩放与转移两大核心能力，模拟人类主动感知行为。通过限制模型的感知视野，要求模型主动调整视角以获取关键信息。采用手工筛选的多场景、多类别实例，涵盖环境、对象与事件三大类，结合视觉问答任务，评估模型在动态感知中的表现。实验涵盖30个模型，包括商用和开源模型，采用问答准确率、视图操作次数等指标，系统分析模型在不同操作中的表现差异。
关键结果
- 实验结果显示，最强商用模型GPT-4o在主动感知任务中的平均得分为66.40%，显著低于人类84.67%的水平。模型在视图缩放和转移任务中表现出明显差距，尤其在复杂场景下难以实现全局理解。开源模型如Qwen2.5-VL表现出逐步逼近商用模型的趋势，说明模型主动感知能力有待提升。
- 不同模型在视图缩放和转移任务中的平均准确率分别为68.00%和65.11%，表明当前模型在动态调整感知视野方面仍存在较大差距。多模型的视图操作次数和选择策略差异，反映出模型自主性和策略优化的潜力。实验还发现，结合多视图信息能部分改善模型理解，但整体性能仍未达到人类水平。
- 通过对不同难度等级的测试，模型在高难度场景（Shift-H）中的表现明显下降，提示模型在细粒度信息捕获和缺失信息补充方面的不足。整体来看，主动感知能力的提升仍是未来模型研究的关键方向，尤其在多模态融合和动态交互方面。
研究意义
本研究首次系统性评估多模态大模型的主动感知能力，填补了该领域长期被忽视的空白。主动感知作为衡量模型智能水平的重要指标，关系到模型在复杂环境中的适应性和自主性。通过引入视图缩放与转移机制，推动模型从被动接受信息向主动探索转变，具有重要理论和应用价值。结果揭示模型在动态环境中的局限性，为未来多模态模型的设计提供了明确方向。该基准有助于推动行业在智能交互、机器人导航、自动驾驶等领域的技术突破，促进多模态AI的全面发展。
技术贡献
本研究提出了结合视图缩放与转移的主动感知评估框架，创新性地将动态视野调整引入多模态模型评估中。设计了多类别、多难度的视觉问答任务，结合手工标注的视觉线索，系统性测量模型在动态感知中的表现。引入多视图操作指标，量化模型自主性和策略优化能力。实验覆盖30个模型，提供了丰富的性能对比，为未来模型优化提供了量化依据。该框架突破了传统静态评估的局限，为多模态模型的主动感知能力提供了新的评估标准。
新颖性
本研究首次系统性引入视图缩放与转移机制，作为主动感知能力的核心指标，结合多类别、多难度任务，全面评估模型动态感知能力。与现有基准多为静态场景不同，强调模型在有限视野下的主动探索，具有较强创新性。提出的多视图操作指标和复杂场景设计，为主动感知能力的量化提供了新工具，填补了该领域评估体系的空白。
局限性
- 当前基准主要集中于静态图像场景，尚未充分覆盖动态视频和连续交互环境，未来应扩展多模态动态场景的评估能力。
- 模型在复杂场景中的表现仍受限于感知策略和推理能力，尚未实现真正的自主探索，需结合强化学习等技术优化。
- 评估指标主要依赖问答准确率，未来应结合行为分析和路径优化等多维指标，全面衡量主动感知的效果。
未来方向
未来将扩展多模态动态环境中的主动感知评估，结合强化学习和自主探索策略，提升模型的自主性和适应性。同时，探索多模态融合机制，增强模型在复杂场景中的理解能力。还将引入多任务学习和连续交互，推动模型在实际应用中的表现，促进主动感知能力的全面提升。
AI 总览摘要
随着多模态大模型（MLLMs）在视觉、语言等多个领域取得突破，主动感知能力成为衡量其智能水平的重要指标。传统评估多偏重静态场景，忽视模型在动态环境中的探索与调整能力。为此，本文提出了ActiView基准，模拟人类在复杂场景中的主动视野调整行为，结合视图缩放与转移两大核心操作，系统评估模型在有限视野下的感知与推理能力。
通过设计多类别、多难度的视觉问答任务，模型需主动调整视角以获取关键信息，验证其动态感知策略。实验涵盖30个模型，包括商用和开源模型，结果显示大部分模型在主动感知任务中表现不足，平均得分低于人类水平，尤其在复杂场景和细粒度信息捕获方面差距明显。这表明当前模型仍需在自主探索和多视图融合方面进行优化。
该研究不仅丰富了多模态模型的评估体系，也为未来模型设计提供了重要参考。主动感知能力的提升，将极大推动智能交互、机器人导航、自动驾驶等应用的发展。未来，结合强化学习、多任务学习等技术，模型的自主性和适应性将得到进一步增强，开启多模态AI的新时代。
深度分析
研究背景
多模态大模型（MLLMs）近年来快速发展，代表性工作如OpenAI的GPT-4V、Liu等的研究，推动模型在视觉与语言理解方面取得突破。早期研究多关注静态视觉理解（如VQA、图像识别），逐步引入多模态融合技术（如FLAVA、LLaVA），实现跨模态信息交互。尽管如此，模型多为被动接受信息，缺乏主动探索能力。主动感知作为人类的核心能力，涉及视野调整、信息筛选与推理，尚未在多模态模型中得到系统性评估。现有评测大多局限于静态场景，难以反映模型在真实复杂环境中的表现。
核心问题
当前多模态模型在动态环境中的主动感知能力不足，表现为缺乏视图调整策略，难以自主获取关键信息。传统评估指标如问答准确率无法衡量模型的探索策略和信息筛选能力。实际应用中，模型需在有限视野中主动调整视角，补充缺失信息，理解复杂场景，但现有模型多在静态输入下训练和测试，缺乏动态交互能力。这限制了模型在自动驾驶、机器人等领域的应用潜力，亟需开发专门的评估框架。
核心创新
本研究创新性地提出了ActiView基准，结合视图缩放（zooming）与转移（shifting）两大主动感知操作，模拟人类在复杂场景中的行为。设计了多类别、多难度的视觉问答任务，要求模型在有限视野下主动调整视角，获取关键线索。引入多视图操作指标，量化模型自主性，推动模型在动态环境中的探索能力。该框架突破了传统静态评估的局限，为主动感知能力的量化提供了新工具，具有较强的创新性。
方法详解
- �� 设计多类别、多难度的视觉问答任务，涵盖环境、对象、事件三大类。• 采用手工筛选实例，结合视觉线索标注，确保任务的复杂性和多样性。• 构建视图缩放（zooming）和转移（shifting）两大操作流程，模拟人类主动探索行为。• 设定有限初始视野，模型需通过视图调整获取关键信息。• 设计多视图操作指标（如操作次数、选择策略）评估模型自主性。• 实验涵盖30个模型，分析不同操作策略的效果差异。
实验设计
采用包含多类别、多难度实例的视觉问答数据集，模型在不同视野限制下进行测试。评估指标包括问答准确率、视图操作次数、操作策略合理性。实验设计包括单一操作（缩放或转移）和混合操作两种场景，模拟真实环境中的动态感知。通过对比不同模型的表现，分析主动感知能力的差异。还引入人类基准，验证模型在复杂场景中的不足。实验还考察模型在不同难度等级下的表现，揭示模型在细粒度信息捕获方面的局限。
结果分析
模型在主动感知任务中的平均准确率为66.40%，低于人类84.67%。商用模型如GPT-4o表现优异，但仍远未达到人类水平。开源模型逐步逼近商用模型，Qwen2.5-VL在多视图操作中表现出较强潜力。多模型视图操作次数差异显著，反映自主策略的差异。高难度场景（Shift-H）中模型表现明显下降，说明在细粒度信息捕获和缺失信息补充方面仍有较大提升空间。整体结果表明，主动感知能力是未来模型的重要发展方向。
应用场景
该基准适用于自动驾驶、机器人导航、智能监控等场景，模型需在有限视野下自主探索环境，获取关键信息。推动多模态模型在复杂环境中的自主决策能力，提升系统的适应性和鲁棒性。未来可结合强化学习，优化模型的探索策略，实现更高效的主动感知。
局限与展望
目前基准主要集中于静态图像，尚未覆盖动态视频和连续交互场景。模型在复杂场景中表现仍受限，缺乏自主探索策略。评估指标偏重问答准确率，未来需引入行为路径和交互策略的多维指标。模型在高难度场景中的表现仍不理想，需结合强化学习和多任务训练进行改进。
通俗解读 非专业人士也能看懂
想象你在一个大厨房里做饭。你不能一次性看到所有的食材和工具，只能看到一部分。你需要不断转动厨房的视角，找到缺少的食材，或者放大某个区域看得更清楚。这个过程就像模型在理解图片时，不仅要看一眼，还要主动转动视角、放大细节，才能知道所有的秘密。就像你在厨房里找调料一样，模型也要主动“找”信息，才能做出正确的回答。这种主动探索比被动接受信息更聪明，也更接近人类的思考方式。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏，但你不能一次看到全部的拼图，只能看到一部分。你得不断转动拼图板，找到缺少的拼片，或者放大某个区域看得更清楚。这个过程就像模型在看图片时，不只是静静地看一眼，而是主动转动视角、放大细节，去找到所有隐藏的线索。就像你用手去找拼图的缺口一样，模型也要主动“找”信息，才能拼出完整的答案。这个主动探索的能力，让模型变得更聪明、更像人类，也更能应对复杂的场景。
术语表
Active Perception (主动感知)
指主动调整视野以获取关键信息的能力，涉及视图转移与缩放。
论文中用来描述模型主动探索环境的能力。
Visual Question Answering (视觉问答)
通过视觉输入回答相关问题的任务，评估模型理解和推理能力。
作为基准任务的核心框架。
Perceptual Field (感知视野)
模型当前能够感知的图像区域，受限于视图大小和位置。
模型需通过操作扩大或转移感知视野。
Zooming (缩放)
放大感知视野中的局部区域以获取细节信息的操作。
主动感知中的关键操作之一。
Shifting (转移)
移动感知视野以补充缺失信息的操作。
模拟人类主动探索行为。
开放问题 这项研究留下的未解疑问
- 1 如何让模型在复杂动态环境中自主选择最佳视角，提升连续交互中的主动感知能力仍未解决。
- 2 现有模型在多模态融合和细粒度推理方面的能力有限，需结合强化学习等技术进行突破。
应用场景
近期应用
自动驾驶辅助
模型主动调整视角识别道路和障碍物，提高行车安全。
机器人导航
机器人通过主动视野调整，探索未知环境，实现自主导航。
远期愿景
智能交互系统
实现更自然的人机交互，模型能主动理解环境变化，提供个性化服务。
原文摘要
Active perception, a crucial human capability, involves setting a goal based on the current understanding of the environment and performing actions to achieve that goal. Despite significant efforts in evaluating Multimodal Large Language Models (MLLMs), active perception has been largely overlooked. To address this gap, we propose a novel benchmark named ActiView to evaluate active perception in MLLMs. We focus on a specialized form of Visual Question Answering (VQA) that eases and quantifies the evaluation yet challenging for existing MLLMs. Meanwhile, intermediate reasoning behaviors of models are also discussed. Given an image, we restrict the perceptual field of a model, requiring it to actively zoom or shift its perceptual field based on reasoning to answer the question successfully. We conduct extensive evaluation over 30 models, including proprietary and open-source models, and observe that restricted perceptual fields play a significant role in enabling active perception. Results reveal a significant gap in the active perception capability of MLLMs, indicating that this area deserves more attention. We hope that ActiView could help develop methods for MLLMs to understand multimodal inputs in more natural and holistic ways.