核心发现
方法论
VideoXAgent是一种在线视频代理工具，利用数据驱动的能力分类和异构专家工具，动态调用脚本、VLMs和领域模型（如检测、OCR、ASR、面部识别），以解决长视频理解中的上下文腐烂和高成本问题。
关键结果
- 在MINERVA上，VideoXAgent使用约15%的上下文，达到与1,024帧密集打包基线相当的水平。
- 在Video-MME-Long和LVBench上，VideoXAgent在50k上下文下达到85.1%和76.5%的准确率。
- 在长视频基准上，VideoXAgent在较小的上下文占用下与前沿LMMs竞争。
研究意义
VideoXAgent通过在线代理方法解决了长视频中查询相关证据稀疏分布的问题，减少了上下文腐烂和计算成本，推动了视频理解领域的发展。
技术贡献
VideoXAgent引入了一种新的在线代理框架，通过动态工具调用和多模态证据聚合，减少了对全视频上下文的依赖，提供了更高效的长视频理解解决方案。
新颖性
VideoXAgent首次实现了在不依赖全视频上下文的情况下，通过逐步的证据收集实现强大的长视频理解。
局限性
- 在处理极长视频时，仍可能面临工具调用的时间和资源消耗问题。
- 对工具的依赖可能导致在工具不完善时性能下降。
未来方向
未来工作可以探索更高效的工具调用策略和更广泛的领域模型集成，以进一步提升长视频理解的效率和准确性。
AI 总览摘要
长视频理解一直是一个挑战，因为相关证据通常稀疏分布在长时间跨度中，而将密集帧打包到单一VLM上下文中会导致上下文腐烂和高成本。现有的视频代理通常依赖于与查询无关的离线预处理或临时工具集，可能会遗漏查询特定的细节并浪费计算资源。VideoXAgent通过一种纯在线的视频代理工具解决了这些问题，从给定的视频文件和用户查询开始，计划和分解任务，按需调用专门的专家工具，并聚合多模态证据以生成最终答案，同时解决观察之间的冲突。VideoXAgent在多个长视频基准上表现出色，使用较小的上下文占用达到了与前沿LMMs和视频代理相当的水平。特别是在复杂的视频推理基准如MINERVA上，它在使用约15%的上下文的情况下达到了与1,024帧密集打包基线相当的水平。值得注意的是，即使在视觉较弱或仅文本的协调器下，该工具仍然有效，表明强大的长视频理解可以通过逐步的代理证据收集而不是将整个视频打包到单一上下文中实现。
深度分析
研究背景
长视频理解是多模态应用的关键领域，也是大模型长上下文能力的实际测试。长视频如短片、动画、视频博客、电影等，可能从几分钟到几个小时不等。即使以1 FPS的稀疏采样，这些视频也可能包含数千帧。在大多模态模型的标准处理范式下，这很容易导致上下文中包含数百万个标记，远远超出大多数模型的有效上下文长度，因此容易导致上下文退化。
核心问题
长视频理解的核心问题在于查询相关证据稀疏分布在长时间跨度中，而将密集帧打包到单一VLM上下文中会导致上下文腐烂和高成本。现有的视频代理通常依赖于与查询无关的离线预处理或临时工具集，可能会遗漏查询特定的细节并浪费计算资源。
核心创新
VideoXAgent的核心创新在于其纯在线的视频代理框架，能够从给定的视频文件和用户查询开始，计划和分解任务，按需调用专门的专家工具，并聚合多模态证据以生成最终答案。它通过数据驱动的能力分类和异构专家工具，动态调用脚本、VLMs和领域模型（如检测、OCR、ASR、面部识别），以解决长视频理解中的上下文腐烂和高成本问题。
方法详解
- �� 使用数据驱动的能力分类来指导工具设计。• 设计60多个专家工具和组合工作流，每个工具针对特定的原子子问题。• 在推理时，系统根据查询和视频时长调整，分解查询为子问题，调用适当的工具，聚合多模态证据，并控制执行预算以防止无限循环。
实验设计
实验在Video-MME-Long, LongVideoBench-Long, LVBench和MINERVA上进行，展示了VideoXAgent在较小的上下文占用下与前沿LMMs和视频代理相当的性能。特别是在复杂的视频推理基准如MINERVA上，它在使用约15%的上下文的情况下达到了与1,024帧密集打包基线相当的水平。
结果分析
VideoXAgent在Video-MME-Long上达到85.1%的准确率，在LVBench上达到76.5%的准确率，并在MINERVA上达到65.7%的准确率，使用的上下文约为50k，即使在长达数小时的视频上也是如此。
应用场景
VideoXAgent可以用于需要长视频理解的多种应用场景，如视频监控、电影分析、教育视频解析等。
局限与展望
尽管VideoXAgent在长视频理解中表现出色，但在处理极长视频时，仍可能面临工具调用的时间和资源消耗问题。此外，对工具的依赖可能导致在工具不完善时性能下降。未来工作可以探索更高效的工具调用策略和更广泛的领域模型集成，以进一步提升长视频理解的效率和准确性。
通俗解读 非专业人士也能看懂
想象你在看一部很长的电影，而你只对其中的某些片段感兴趣。VideoXAgent就像一个聪明的助手，它能在你提问时，快速找到电影中相关的片段，而不需要从头到尾看完。它会根据你的问题，灵活地使用不同的工具，比如字幕识别、图像识别等，来找到你需要的信息。这样，你就能在短时间内得到准确的答案，而不必浪费时间和精力去处理不相关的内容。
简单解释 像给14岁少年讲一样
想象你在玩一个超长的游戏，而你只想知道某个关卡的秘密。VideoXAgent就像游戏中的一个超级助手，它能在你提问时，迅速找到游戏中相关的线索，而不需要从头到尾玩完。它会根据你的问题，灵活地使用不同的工具，比如字幕识别、图像识别等，来找到你需要的信息。这样，你就能在短时间内得到准确的答案，而不必浪费时间和精力去处理不相关的内容。是不是很酷？
术语表
VideoXAgent (视频代理工具)
一种用于长视频理解的在线代理工具，通过动态调用专家工具来聚合多模态证据。
用于解决长视频中查询相关证据稀疏分布的问题。
VLM (视觉语言模型)
一种结合视觉和语言信息的模型，用于处理多模态数据。
用于在长视频中处理视觉和语言信息。
OCR (光学字符识别)
一种识别图像中文本的技术，常用于处理视频中的字幕。
用于识别视频中的字幕信息。
ASR (自动语音识别)
一种将语音转换为文本的技术，常用于处理视频中的音频信息。
用于识别视频中的音频信息。
MINERVA (视频推理基准)
一种用于评估视频理解能力的复杂视频推理基准。
用于评估VideoXAgent的性能。
开放问题 这项研究留下的未解疑问
- 1 如何在不增加计算成本的情况下提高工具调用的效率？
- 2 如何在工具不完善时保证系统的稳定性和准确性？
应用场景
近期应用
视频监控
VideoXAgent可以用于实时视频监控，快速识别和分析关键事件。
远期愿景
教育视频解析
VideoXAgent可以用于解析教育视频，帮助学生快速找到相关知识点。
原文摘要
Long video understanding often behaves like a visual needle-in-a-haystack problem: query-relevant evidence is sparsely distributed across long temporal spans, while packing dense frames into a single VLM context incurs \textit{context rot} and high cost. Existing video agents often rely on query-agnostic offline preprocessing or ad hoc tool sets, which can miss query-specific details and waste computation. In this work, we present VideoXAgent, a purely online video-agent harness for long video understanding that starts from the given video file and user query, plans and decomposes the task, invokes specialized expert tools on demand, and aggregates multimodal evidence to produce a final answer while resolving conflicts among observations. To support this on-demand invocation, we design a suite of heterogeneous expert tools guided by a data-driven taxonomy of atomic capabilities, spanning scripts, VLMs, and domain models (e.g., detection, OCR, ASR, face recognition). The harness further enforces objective evidence prompting and budget-aware control to curb hallucination and non-termination. Across Video-MME-Long, LongVideoBench-Long, LVBench, and MINERVA, VideoXAgent is competitive with frontier LMMs and video agents under a smaller context footprint---about 50k tokens of agent context per sample, even on hour-long videos. In particular, on complex video-reasoning benchmarks such as MINERVA, it matches this level while using only about 15\% of the context of a 1,024-frame dense-packing baseline. Notably, the harness remains effective with a visually weak or even text-only orchestrator, suggesting that strong long-video understanding can emerge from progressive agentic evidence seeking rather than from packing the full video into a single context. Project page: https://go-agent-x.github.io/video_agent_harness/