核心发现
方法论
VideoSeek是一种长时程视频代理模型，通过视频逻辑流主动寻找关键证据，而不是对视频进行密集解析。其核心在于一个“思考-行动-观察”循环，结合精心设计的多层次工具包，支持对视频进行多粒度观察。工具包包括概览工具、浏览工具和聚焦工具，分别用于建立视频全局概况、粗略扫描候选片段和深入分析短片段。通过这种方法，VideoSeek能够在减少帧使用的同时保持甚至提高视频理解能力。
关键结果
- VideoSeek在LVBench上相较于基础模型GPT-5，准确率提升了10.2个百分点，同时帧使用减少了93%。在没有字幕的情况下，VideoSeek使用92.3帧达到68.4%的准确率，而使用字幕时，帧使用减少到27.2帧，准确率达到76.7%。
- 在VideoMME和LongVideoBench上，VideoSeek分别使用60.9帧和29.6帧，准确率分别为70.1%和73.5%，显著优于其他多模态模型和视频代理模型。
- 在复杂视频推理基准Video-Holmes上，VideoSeek以42.7帧的使用量实现了47.3%的整体准确率，超越了包括Gemini 2.5 Pro在内的强大模型。
研究意义
VideoSeek的研究意义在于其在视频理解领域的创新性方法，能够在减少计算成本的同时提高视频理解的准确性。这一方法解决了传统视频代理模型在长视频处理上的高计算成本问题，并展示了在多模态视频理解任务中的广泛适用性。通过利用视频的逻辑流，VideoSeek不仅提高了模型的效率，还为视频理解和推理提供了新的思路。
技术贡献
VideoSeek的技术贡献在于其创新性地利用视频逻辑流进行证据搜寻，避免了对视频进行密集解析的高成本。其多层次工具包设计使得模型能够在不同粒度上灵活地观察视频内容，从而实现更高效的推理和理解。此外，VideoSeek在多个基准测试中展示了其在减少帧使用的同时保持甚至提高准确率的能力，证明了其在长时程视频理解任务中的有效性。
新颖性
VideoSeek的创新之处在于其通过视频逻辑流主动寻找关键证据，而不是依赖于对视频的密集解析。这一方法与传统视频代理模型的单次解析范式有本质区别，提供了一种更高效的长时程视频理解和推理方法。
局限性
- VideoSeek在处理没有明显逻辑流的视频时可能表现不佳，因为其依赖于视频的逻辑流来指导证据搜寻。
- 在某些情况下，工具包的选择可能不够灵活，导致对某些视频片段的过度或不足分析。
- 虽然VideoSeek在减少帧使用方面表现出色，但在极端长的视频中可能仍需要进一步优化以保持高效。
未来方向
未来的研究方向包括进一步优化VideoSeek在极端长视频上的性能，探索更多样化的视频类型和场景，以及改进工具包的灵活性以适应不同的视频内容。此外，结合其他多模态信号（如音频）以增强视频理解能力也是一个值得探索的方向。
AI 总览摘要
视频理解是一个复杂的任务，尤其是在长时程视频中，传统的方法往往需要对视频进行密集解析，这导致了高昂的计算成本。现有的大型多模态模型虽然在视频语言任务上取得了进展，但在处理长视频和复杂推理任务时仍面临挑战。
VideoSeek是一种创新的长时程视频代理模型，通过利用视频的逻辑流主动寻找关键证据，而不是对视频进行密集解析。其核心在于一个“思考-行动-观察”循环，结合精心设计的多层次工具包，支持对视频进行多粒度观察。工具包包括概览工具、浏览工具和聚焦工具，分别用于建立视频全局概况、粗略扫描候选片段和深入分析短片段。
VideoSeek的技术原理在于通过视频逻辑流指导证据搜寻，从而减少帧的使用量。通过这种方法，模型能够在减少计算成本的同时保持甚至提高视频理解能力。实验结果表明，VideoSeek在多个基准测试中表现出色，特别是在LVBench上相较于基础模型GPT-5，准确率提升了10.2个百分点，同时帧使用减少了93%。
这一方法的广泛适用性和高效性使其在视频理解领域具有重要的影响。VideoSeek不仅解决了传统视频代理模型在长视频处理上的高计算成本问题，还为视频理解和推理提供了新的思路。其在减少帧使用的同时提高准确率的能力，展示了其在多模态视频理解任务中的广泛适用性。
然而，VideoSeek在处理没有明显逻辑流的视频时可能表现不佳，因为其依赖于视频的逻辑流来指导证据搜寻。此外，在极端长的视频中可能仍需要进一步优化以保持高效。未来的研究方向包括进一步优化VideoSeek在极端长视频上的性能，探索更多样化的视频类型和场景，以及改进工具包的灵活性以适应不同的视频内容。
深度分析
研究背景
视频理解是计算机视觉和自然语言处理领域的重要研究方向，其应用范围广泛，包括多模态助手、自动驾驶和视觉引导机器人等。近年来，大型语言模型（LLMs）和大型多模态模型（LMMs）的快速发展推动了视频语言理解的进步。然而，现有的方法大多采用单次解析范式，这在处理长视频和复杂推理任务时往往显得不足。传统的视频代理模型通常依赖于对视频进行密集解析，这导致了高昂的计算成本，尤其是在长视频中。此外，许多现有方法在处理视频时缺乏灵活性，无法有效地应对视频内容的多样性和复杂性。
核心问题
视频理解任务的核心问题在于如何在不增加计算成本的情况下提高视频理解的准确性。传统的方法往往需要对视频进行密集解析，这导致了高昂的计算成本。此外，现有的视频代理模型在处理长视频和复杂推理任务时往往表现不佳，因为它们缺乏灵活性，无法有效地应对视频内容的多样性和复杂性。因此，如何在减少帧使用的同时提高视频理解的准确性，成为了一个亟待解决的难题。
核心创新
VideoSeek的核心创新在于其通过视频逻辑流主动寻找关键证据，而不是依赖于对视频的密集解析。这一方法与传统视频代理模型的单次解析范式有本质区别，提供了一种更高效的长时程视频理解和推理方法。VideoSeek采用了一个“思考-行动-观察”循环，结合精心设计的多层次工具包，支持对视频进行多粒度观察。工具包包括概览工具、浏览工具和聚焦工具，分别用于建立视频全局概况、粗略扫描候选片段和深入分析短片段。这种多层次的工具包设计使得模型能够在不同粒度上灵活地观察视频内容，从而实现更高效的推理和理解。
方法详解
VideoSeek的实现包括以下几个关键步骤：
- �� 思考：在每个步骤中，模型根据查询和累积的观察结果进行推理，计划下一步行动，并选择合适的工具。
- �� 行动：模型调用选定的工具，从视频中收集新的证据。工具包包括概览工具、浏览工具和聚焦工具，分别用于建立视频全局概况、粗略扫描候选片段和深入分析短片段。
- �� 观察：将收集到的新证据反馈给模型，进入下一个“思考-行动-观察”循环，直到收集到足够的证据以生成最终答案。
实验设计
实验设计包括在四个具有挑战性的视频理解和推理基准上评估VideoSeek的性能。这些基准包括LVBench、VideoMME、LongVideoBench和Video-Holmes。实验中使用的基线模型为GPT-5，并在消融研究中替换为其他替代LLM（如o4-mini和GPT-4.1）。实验评估了VideoSeek在减少帧使用的同时保持甚至提高准确率的能力。实验还分析了工具包设计和视频逻辑流对模型性能的影响。
结果分析
实验结果表明，VideoSeek在多个基准测试中表现出色，特别是在LVBench上相较于基础模型GPT-5，准确率提升了10.2个百分点，同时帧使用减少了93%。在VideoMME和LongVideoBench上，VideoSeek分别使用60.9帧和29.6帧，准确率分别为70.1%和73.5%，显著优于其他多模态模型和视频代理模型。在复杂视频推理基准Video-Holmes上，VideoSeek以42.7帧的使用量实现了47.3%的整体准确率，超越了包括Gemini 2.5 Pro在内的强大模型。
应用场景
VideoSeek在视频理解领域具有广泛的应用场景。其高效的证据搜寻能力使其适用于多模态助手、自动驾驶和视觉引导机器人等领域。此外，VideoSeek在减少帧使用的同时提高准确率的能力，使其在长视频处理和复杂推理任务中具有重要的应用价值。
局限与展望
尽管VideoSeek在多个基准测试中表现出色，但其在处理没有明显逻辑流的视频时可能表现不佳，因为其依赖于视频的逻辑流来指导证据搜寻。此外，在极端长的视频中可能仍需要进一步优化以保持高效。未来的研究方向包括进一步优化VideoSeek在极端长视频上的性能，探索更多样化的视频类型和场景，以及改进工具包的灵活性以适应不同的视频内容。
通俗解读 非专业人士也能看懂
想象一下你在看一部电影，但你没有时间从头到尾看完。你可能会先快速浏览电影的简介，了解大概的故事情节，然后跳到那些你认为重要的片段，仔细观看。VideoSeek就像是一个聪明的助手，它能帮助你快速找到电影中最重要的部分，而不需要浪费时间看完整部电影。它通过一个“思考-行动-观察”的循环，利用视频的逻辑流来指导证据搜寻。首先，它会建立一个视频的全局概况，就像是快速浏览电影简介一样。接着，它会粗略扫描那些可能包含重要信息的片段，就像是跳到电影的关键场景。最后，它会深入分析那些需要仔细观察的短片段，就像是仔细观看电影的高潮部分。通过这种方法，VideoSeek能够在减少帧使用的同时保持甚至提高视频理解能力。
简单解释 像给14岁少年讲一样
嘿，小伙伴们，你们有没有想过，如果我们能像超级侦探一样看电影，那会是什么样子？VideoSeek就是这样一个超级侦探！它能帮我们快速找到电影中最重要的部分，而不需要从头到尾看完。想象一下，你在玩一个超级复杂的游戏，你需要找到隐藏的宝藏。VideoSeek就像是你的游戏助手，它能告诉你哪些地方可能藏着宝藏，这样你就不用浪费时间到处乱找啦！它会先快速浏览整个游戏地图，然后告诉你哪些地方可能有宝藏，最后带你去那些地方仔细寻找。是不是很酷？这样一来，我们就能更快地找到宝藏，赢得游戏啦！
术语表
VideoSeek (视频搜寻)
一种长时程视频代理模型，通过视频逻辑流主动寻找关键证据，而不是对视频进行密集解析。
VideoSeek在论文中被用来提高视频理解的效率和准确性。
Logic Flow (逻辑流)
视频中的时间和因果结构，用于指导证据搜寻，帮助模型快速定位重要片段。
逻辑流在VideoSeek中用于指导模型选择合适的工具进行证据搜寻。
Think-Act-Observe Loop (思考-行动-观察循环)
VideoSeek的核心工作流程，通过不断思考、行动和观察来收集证据，直到生成最终答案。
该循环用于VideoSeek的证据搜寻过程。
Overview Tool (概览工具)
VideoSeek的工具之一，用于建立视频的全局概况，帮助模型形成初步计划。
概览工具在VideoSeek中用于快速浏览视频的整体结构。
Skim Tool (浏览工具)
VideoSeek的工具之一，用于粗略扫描候选片段，帮助模型缩小搜索范围。
浏览工具在VideoSeek中用于快速定位可能包含重要信息的片段。
Focus Tool (聚焦工具)
VideoSeek的工具之一，用于深入分析短片段，获取关键细节。
聚焦工具在VideoSeek中用于仔细观察需要验证或提取精确信息的片段。
LVBench
一个视频理解和推理基准，用于评估模型在长视频上的性能。
LVBench在论文中用于评估VideoSeek的性能。
VideoMME
一个综合多模态基准，用于评估模型在长视频理解上的性能。
VideoMME在论文中用于评估VideoSeek的性能。
LongVideoBench
一个长视频理解基准，用于评估模型在长视频上的性能。
LongVideoBench在论文中用于评估VideoSeek的性能。
Video-Holmes
一个复杂视频推理基准，用于评估模型在复杂推理任务上的性能。
Video-Holmes在论文中用于评估VideoSeek的性能。
开放问题 这项研究留下的未解疑问
- 1 如何在没有明显逻辑流的视频中提高VideoSeek的性能？现有的方法依赖于视频的逻辑流来指导证据搜寻，但在缺乏逻辑流的视频中可能表现不佳。
- 2 如何进一步优化VideoSeek在极端长视频上的性能？尽管VideoSeek在减少帧使用方面表现出色，但在极端长的视频中可能仍需要进一步优化以保持高效。
- 3 如何改进工具包的灵活性以适应不同的视频内容？现有的工具包可能在某些情况下不够灵活，导致对某些视频片段的过度或不足分析。
- 4 如何结合其他多模态信号（如音频）以增强视频理解能力？现有的方法主要依赖于视频的视觉信息，结合其他信号可能进一步提高理解能力。
- 5 如何在减少帧使用的同时保持甚至提高视频理解的准确性？现有的方法在减少帧使用方面表现出色，但在某些情况下可能仍需要进一步优化。
应用场景
近期应用
多模态助手
VideoSeek可用于多模态助手，通过高效的视频理解能力，帮助用户快速获取视频中的关键信息。
自动驾驶
在自动驾驶中，VideoSeek可以用于实时分析车载摄像头捕获的视频，快速识别道路上的重要信息。
视觉引导机器人
VideoSeek可用于视觉引导机器人，帮助机器人在复杂环境中快速定位和识别目标物体。
远期愿景
智能监控系统
VideoSeek可用于智能监控系统，通过高效的视频分析能力，实时检测和识别异常行为。
影视制作
在影视制作中，VideoSeek可以用于快速分析和剪辑长视频，帮助制作团队提高工作效率。
原文摘要
Video agentic models have advanced challenging video-language tasks. However, most agentic approaches still heavily rely on greedy parsing over densely sampled video frames, resulting in high computational cost. We present VideoSeek, a long-horizon video agent that leverages video logic flow to actively seek answer-critical evidence instead of exhaustively parsing the full video. This insight allows the model to use far fewer frames while maintaining, or even improving, its video understanding capability. VideoSeek operates in a think-act-observe loop with a well-designed toolkit for collecting multi-granular video observations. This design enables query-aware exploration over accumulated observations and supports practical video understanding and reasoning. Experiments on four challenging video understanding and reasoning benchmarks demonstrate that VideoSeek achieves strong accuracy while using far fewer frames than prior video agents and standalone LMMs. Notably, VideoSeek achieves a 10.2 absolute points improvement on LVBench over its base model, GPT-5, while using 93% fewer frames. Further analysis highlights the significance of leveraging video logic flow, strong reasoning capability, and the complementary roles of toolkit design.
参考文献 (20)
Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding
Xiaoyi Zhang, Zhaoyang Jia, Zongyu Guo 等
LVBench: An Extreme Long Video Understanding Benchmark
Weihan Wang, Zehai He, Wenyi Hong 等
MR. Video: "MapReduce" is the Principle for Long Video Understanding
Ziqi Pang, Yu-Xiong Wang
Video-Holmes: Can MLLM Think Like Holmes for Complex Video Reasoning?
Junhao Cheng, Yuying Ge, Teng Wang 等
DrVideo: Document Retrieval Based Long Video Understanding
Ziyu Ma, Chenhui Gou, Hengcan Shi 等
MULTIMODAL BEHAVIOR THERAPY: TREATING THE “BASIC ID”
A. Lazarus
RoboSpatial: Teaching Spatial Understanding to 2D and 3D Vision-Language Models for Robotics
Chan Hee Song, Valts Blukis, Jonathan Tremblay 等
Video Instruction Tuning With Synthetic Data
Yuanhan Zhang, Jinming Wu, Wei Li 等
MSR-VTT: A Large Video Description Dataset for Bridging Video and Language
Jun Xu, Tao Mei, Ting Yao 等
A Survey on Vision-Language-Action Models for Autonomous Driving
Sicong Jiang, Zilin Huang, Kangan Qian 等
VideoTree: Adaptive Tree-based Video Representation for LLM Reasoning on Long Videos
Ziyang Wang, Shoubin Yu, Elias Stengel-Eskin 等
Video-XL: Extra-Long Vision Language Model for Hour-Scale Video Understanding
Yan Shu, Peitian Zhang, Zheng Liu 等
Video-R1: Reinforcing Video Reasoning in MLLMs
Kaituo Feng, Kaixiong Gong, Bohao Li 等
Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution
Peng Wang, Shuai Bai, Sinan Tan 等
PLLaVA : Parameter-free LLaVA Extension from Images to Videos for Video Dense Captioning
Lin Xu, Yilin Zhao, Daquan Zhou 等
ReAct: Synergizing Reasoning and Acting in Language Models
Shunyu Yao, Jeffrey Zhao, Dian Yu 等
ShareGPT4Video: Improving Video Understanding and Generation with Better Captions
Lin Chen, Xilin Wei, Jinsong Li 等
Apollo: An Exploration of Video Understanding in Large Multimodal Models
Orr Zohar, Xiaohan Wang, Yann Dubois 等