核心发现
方法论
VideoExplorer采用“思考视频”原则，结合规划器、时间定位器和可扩展感知模块。模型通过迭代生成子问题，定位关键时间段，动态调整感知粒度，实现多步推理。训练采用困难自适应采样构建长视频推理数据集，结合监督模仿和轨迹偏好优化，提升模型的时间定位和信息整合能力。
关键结果
- 在LVBench和MLVU等基准上，VideoExplorer在长视频理解任务中平均准确率达54.3%，优于基线模型10%以上。其时间定位[email protected]指标达27.8%，显著优于传统静态推理方法。 Ablation研究显示，去除时间定位或轨迹偏好优化会导致性能下降5-8%。
- 在复杂推理任务中，模型表现出强大的适应性和鲁棒性，能有效处理多模态信息和长序列，验证了其可扩展性和解释性。
- 模型在多场景下展现出优异的泛化能力，尤其在多跳推理和细粒度感知方面优于现有SOTA方法。
研究意义
该研究突破了长视频理解的瓶颈，解决了单次推理信息不足和静态表示的局限，为自动驾驶、智能监控和机器人等应用提供了更高效、可解释的解决方案。通过动态感知和多步推理，模型能更贴合复杂场景中的实际需求，推动视频理解技术向更高层次发展。
技术贡献
提出“思考视频”新范式，结合规划器、时间定位器和可扩展感知模块，创新性地实现多步、可解释的长视频推理。引入困难自适应采样构建高质量推理数据集，设计两阶段训练策略（监督模仿与轨迹偏好优化），显著提升模型的时间定位和信息融合能力。模型架构支持动态调整感知粒度，兼顾效率与细粒度感知。
新颖性
首次提出“思考视频”原则，将动态推理与时间定位深度融合，突破静态表示限制。区别于传统单步推理或静态文本增强方法，本研究实现了多步、可解释、任务导向的长视频理解，具有开创性意义。
局限性
- 模型对极端复杂场景中的多跳推理仍存在一定挑战，尤其在时间定位误差较大时会影响最终答案准确性。
- 训练依赖大量高质量推理轨迹，数据采集和标注成本较高。
- 模型在超长视频或高帧率场景下的实时性仍需优化。
未来方向
未来将探索多模态信息融合的更深层次方法，提升模型对极端复杂场景的适应性。同时，优化模型的推理速度和资源效率，推动其在实际应用中的部署。还计划结合强化学习进一步增强时间定位的精度和推理的自主性。
AI 总览摘要
长视频理解是计算机视觉中的核心难题，现有方法多依赖帧采样或静态文本表示，导致细节丢失或任务适应性不足。VideoExplorer提出“思考视频”原则，融合规划器、时间定位器与可扩展感知模块，支持模型在长视频中动态生成子问题、定位关键时间段，逐步构建任务驱动的推理链。该框架通过困难自适应采样构建高质量推理数据集，结合两阶段训练策略，实现多步、可解释、任务导向的长视频理解。大量实验证明，VideoExplorer在LVBench、MLVU等多个长视频基准中优于现有SOTA方法，表现出卓越的鲁棒性和泛化能力。其创新之处在于将动态推理与时间定位深度融合，突破静态表示的限制，为自动驾驶、智能监控等场景提供更高效、可解释的解决方案。未来，模型将进一步融合多模态信息，优化推理速度，推动长视频理解技术迈向更高水平。
深度分析
研究背景
长视频理解作为多模态AI的关键任务，经历了从帧采样到文本增强的演变。早期方法如单帧检测和短视频推理，受限于信息量和计算成本。近年来，基于大模型的多模态学习（如Gato、Florence）提升了短视频理解能力，但在长视频场景中仍面临信息压缩和推理复杂度高的问题。现有方案多采用静态表示或单次推理，难以应对复杂、多跳、多模态的场景，亟需支持动态、任务导向的推理机制。
核心问题
长视频理解的核心难题在于信息庞大、时序复杂，传统方法通过帧采样或文本预处理丧失细节或引入偏差，限制推理深度和准确性。静态表示无法动态调整感知粒度，导致模型在复杂任务中表现不足。如何实现高效、细粒度、可解释的多步推理，成为亟待解决的难题。现有方法缺乏动态感知能力，不能灵活应对不同任务需求，限制了长视频理解的实际应用。
核心创新
本研究提出“思考视频”原则，强调模型在推理过程中动态生成子问题、定位关键时间段、调整感知粒度。创新点包括：
1）规划器：分析任务，生成子问题，指导推理路径。
2）时间定位器：将子问题映射到视频时间段，确保证据的准确性。
3）可扩展感知：根据任务需求调整采样粒度，实现细粒度与宏观浏览的结合。
此外，构建困难自适应采样数据集，结合监督模仿和轨迹偏好优化，提升模型的推理能力和鲁棒性。这些创新突破了静态表示和单步推理的局限，支持复杂场景下的多步、可解释推理。
方法详解
- �� 规划器分析任务，生成子问题和推理路径。
- �� 时间定位器将子问题映射到视频时间段，确保证据的相关性。
- �� 可扩展感知模块根据任务需求动态调整采样粒度，支持细粒度或宏观浏览。
- �� 构建高质量推理轨迹数据集，采用困难自适应采样，强调复杂推理场景。
- �� 训练采用两阶段策略：第一阶段通过监督模仿学习（SFT）复制专家推理轨迹；第二阶段通过轨迹偏好优化（TDPO）调整模型偏好，强化正确推理路径。
- �� 在推理阶段，模型迭代生成子问题，定位关键时间段，动态感知视频内容，逐步得出答案。
实验设计
使用LVBench、MLVU等长视频数据集，评估模型的理解和推理能力。对比基线包括静态推理模型和检索增强模型，指标涵盖准确率和时间定位IoU。通过消融实验验证时间定位器、轨迹偏好优化和困难采样的贡献。模型参数设定为7B和32B两种规模，训练细节包括学习率、批次大小和采样策略。实验还分析模型在多跳推理、细粒度感知和泛化能力方面的表现。
结果分析
VideoExplorer在LVBench和MLVU上平均准确率达54.3%，比静态模型提升10%以上。时间定位[email protected]达27.8%，优于对比模型的16-20%。消融实验显示，去除时间定位或轨迹偏好会导致性能下降5-8%。模型在复杂推理任务中表现出优异的适应性，能有效定位关键时间段，融合多模态信息，验证了其可扩展性和解释性。整体结果表明，该方法在长视频理解中具有明显优势，推动了多步推理和动态感知的发展。
应用场景
该模型可应用于自动驾驶中的场景理解、智能监控中的事件检测、机器人导航中的行为分析等。其核心在于支持复杂、多跳、多模态的推理任务，适合大规模视频分析和实时应用。未来可结合边缘计算优化推理速度，增强模型的实时性和部署能力，推动智能视频分析的行业落地。
局限与展望
模型在极端复杂场景或超长视频中仍存在时间定位误差，影响推理准确性。训练依赖大量高质量推理轨迹，数据采集成本高。推理速度在高帧率视频中仍需优化，模型对极端场景的泛化能力有待提升。未来需结合强化学习和多模态融合技术，增强模型的自主性和鲁棒性。
通俗解读 非专业人士也能看懂
想象你在看一本非常长的故事书，里面有许多不同的章节和细节。传统的方法就像用放大镜一次性看完整本书，虽然快但可能错过很多细节。VideoExplorer就像一个聪明的侦探，他会逐步提出问题，比如“这个角色什么时候出现？”或“发生了什么重要事件？”，然后只专注于相关的章节或段落。通过不断地提问和定位，他能逐渐拼凑出整个故事的全貌。这种方法比一次性看完整本书更聪明、更细致，也更容易理解故事的发展。它让机器像人一样，逐步分析复杂的视频内容，而不是一股脑全部看完后再猜答案。
简单解释 像给14岁少年讲一样
想象你在看一部超级长的电影，要理解剧情就不能只看一遍。你会问自己：“这个角色什么时候出现？”或者“发生了什么关键事件？”然后只看那些相关的片段。VideoExplorer就像一个聪明的朋友，他会帮你找出电影里的重要时刻，然后逐步告诉你故事的全部内容。它不会一次性看完所有画面，而是根据你的问题，找到最重要的片段，仔细看，然后再继续问下一个问题。这样，你就能更快、更清楚地理解复杂的电影情节。这种方法比盲目看完整部电影要聪明得多，也更节省时间。
术语表
动态推理 (Dynamic Reasoning)
指模型在推理过程中根据任务需求动态生成子问题和定位关键时间段，逐步构建理解链。
本文提出的“思考视频”原则核心机制之一。
时间定位器 (Temporal Grounder)
一种模块，用于将推理子问题映射到视频中的具体时间段，确保证据的相关性。
实现动态感知和证据验证的重要组成。
困难自适应采样 (Difficulty-Adaptive Sampling)
一种采样策略，根据任务难度调整采样比例，生成更具挑战性的推理轨迹。
用于构建高质量训练数据集。
轨迹偏好优化 (Trajectory-Level Preference Optimization)
一种训练策略，通过比较完整推理轨迹的优劣，优化模型的推理路径。
提升模型多步推理的准确性和解释性。
多模态感知 (Multimodal Perception)
结合视觉、文本等多模态信息，提升模型对复杂场景的理解能力。
模型在长视频中融合多源信息的关键技术。
开放问题 这项研究留下的未解疑问
- 1 长视频中多跳推理的时间定位误差如何进一步降低？当前模型在极端复杂场景中的鲁棒性不足，未来需要结合强化学习和多模态信息融合技术以提升自主推理能力。
应用场景
近期应用
智能监控
利用VideoExplorer实现事件检测和行为分析，提升监控系统的准确性和效率，适用于公共安全和交通管理。
远期愿景
自动驾驶
支持车辆对长时间复杂场景的理解与决策，推动自动驾驶技术的安全性和智能化发展。
原文摘要
Long-video understanding~(LVU) is a challenging problem in computer vision. Existing methods either downsample frames for single-pass reasoning, sacrificing fine-grained details, or depend on textual reasoning over task-agnostic representations, hindering task-specific perception and exploration. In this paper, we propose VideoExplorer, a framework grounded in the principle of ``thinking with video'', which naturally intertwines planning, temporal grounding, and scalable perception into a coherent reasoning process. Rather than reasoning over a static context, VideoExplorer iteratively formulates sub-questions, locates relevant moments, and performs task-oriented, temporally scalable video understanding until reaching the final answer, enabling faithful, efficient, and interpretable reasoning. To address the lack of LVU training resources, we construct a long-video reasoning dataset using difficulty-adaptive sampling to ensure high-quality trajectories on complex tasks. Building on this dataset, we design a two-stage training pipeline: supervised trajectory initialization followed by trajectory-level preference optimization, encouraging adaptive temporal grounding and iterative information integration guided by downstream rewards. Extensive evaluations on popular long-video understanding and reasoning benchmarks demonstrate VideoExplorer's significant advantage over existing baselines, highlighting its robustness, adaptability, and efficiency. Our code is made publicly available in this repository(https://github.com/yhy-2000/VideoDeepResearch).