Video-in-the-Loop: Span-Grounded Long Video QA with Interleaved Reasoning
提出Video-in-the-Loop（ViTL）框架，通过两阶段定位与回答实现长视频问答，提升效率与解释性。
核心发现
方法论
ViTL采用两阶段策略：第一阶段利用低帧率扫描视频，进行问答相关区间的定位，使用IoU指标优化；第二阶段在高帧率中重分配视觉标记，进行跨度感知的多选答案生成。训练中引入组相对策略（GRPO），结合时间IoU和答案正确性，端到端优化，确保跨度的定位质量与答案的相关性。数据方面，提出VGrounding-QA，将事件图转化为跨度绑定的多选题，增强监督信号。模型通过端到端学习实现跨度与答案的互相引导，提升长视频问答的准确率与可解释性。
关键结果
- 在Charades-STA、ActivityNet-Captions等数据集上，ViTL在长视频问答任务中实现了最高8.6%的性能提升，且帧输入减少50%。在时间定位任务中，平均Recall@IoU=0.5达到了63.5%，优于多种对比模型。 Ablation研究显示，跨度感知的标记重分配优于均匀采样，显著提升定位与问答性能。
- 在长视频问答和时间定位任务中，ViTL在有限计算预算下表现出优越的效率和准确性，验证了其在实际场景中的应用潜力。训练过程中，结合事件知识图谱的结构化信息，有效增强模型对复杂场景的理解能力。
- 通过端到端训练，模型实现了跨度定位与答案生成的互相促进，显著改善了长视频中信息稀疏与复杂推理的难题。实验证明，ViTL在多任务、多模态环境下具有良好的泛化能力和可解释性。
研究意义
本研究突破了长视频问答中信息稀疏与计算瓶颈的难题，提出的ViTL框架结合跨度定位与高效重分配机制，为大规模、多模态视频理解提供了可扩展的解决方案。通过引入事件图谱增强监督，模型能更精准地捕获关键事件，显著提升问答的准确性和解释性。这一方法不仅推动了视频理解的技术边界，也为未来多模态交互、智能监控、内容检索等应用提供了理论基础和实践路径，具有重要的学术价值和产业潜力。
技术贡献
论文提出的ViTL创新性地结合了两阶段定位与答案生成机制，利用组相对策略（GRPO）实现端到端优化，确保跨度与答案的互相促进。引入事件知识图谱结构化信息，增强模型对复杂场景的理解能力。设计了跨度感知的标注生成流程（VGrounding-QA），实现跨度与多选题的自动配对，丰富了监督信号。模型在有限计算预算下实现了长视频的高效理解，突破了传统均匀采样的局限，为长视频问答提供了新的技术范式。
新颖性
本研究首次提出结合事件知识图谱的跨度绑定多选问答体系，配合两阶段端到端训练策略，有效解决长视频中关键事件定位与答案生成的耦合难题。相较于现有的均匀采样或启发式方法，ViTL实现了在固定预算下的高效信息重分配和可解释性，推动了长视频理解的技术创新。
局限性
- 模型对复杂多跨度事件的定位仍存在一定难度，尤其在场景变化剧烈或事件模糊时，可能影响定位精度。
- 训练依赖大量事件图谱和人工标注，成本较高，泛化到未标注场景仍需优化。
- 在极长或高复杂度视频中，计算成本仍较高，未来需进一步优化模型结构和推理策略。
未来方向
未来将探索多模态信息融合，提升模型对多源数据的理解能力；同时，优化事件图谱构建流程，降低标注成本；还将结合自监督学习，增强模型在未标注数据上的泛化能力，推动长视频理解向更广泛应用场景拓展。
AI 总览摘要
长视频内容理解一直是人工智能领域的难点，尤其是在保证计算效率和模型解释性的同时，准确定位关键事件并生成回答。传统方法多依赖均匀采样，忽略了视频中关键信息的稀疏性，导致性能受限。为解决这一问题，本文提出了Video-in-the-Loop（ViTL）框架，通过两阶段策略实现高效、可解释的长视频问答。
第一阶段，模型以低帧率扫描整个视频，利用IoU指标定位问答相关的时间区间，确保模型关注到关键事件。第二阶段，模型在高帧率中重分配视觉标记，专注于已定位的区间，进行跨度感知的多选答案生成。训练中引入组相对策略（GRPO），将时间IoU与答案正确性结合，端到端优化，确保跨度的定位质量直接影响答案的准确性。
此外，论文还提出VGrounding-QA，将事件图谱转化为跨度绑定的多选题，丰富监督信号，增强模型对复杂场景的理解能力。实验证明，ViTL在Charades-STA、ActivityNet-Captions等数据集上，提升了长视频问答的性能，最高达8.6%的提升，同时减少了50%的帧输入。
这一方法显著改善了长视频理解中的信息稀疏和计算瓶颈问题，为多模态视频分析提供了新的技术路径。未来，结合多源信息融合和自监督学习，有望推动长视频理解迈向更广泛的应用场景，具有重要的学术和产业价值。
深度分析
研究背景
长视频理解近年来随着多模态大模型的发展而不断推进，代表性工作如LLaVA-Video、VideoLLaMA等，通过扩展时序窗口和引入记忆机制，提升了对长视频的理解能力。然而，现有模型多依赖均匀采样，忽略了视频中关键事件的稀疏性，导致信息冗余与计算浪费。此外，时间定位（Temporal Grounding）方法虽取得一定进展，但多依赖单一指标，缺乏对复杂事件多跨度的处理能力。长视频问答（Long Video QA）面临的主要挑战包括：如何在有限预算下准确定位关键片段，如何结合多模态信息实现高效推理，以及如何提升模型的可解释性。现有数据集如Charades-STA、ActivityNet-Captions提供了基础，但缺乏有效的跨度绑定监督，限制了模型的性能提升。
核心问题
长视频问答的核心难题在于：一方面，视频内容庞大且信息稀疏，难以在有限计算资源内准确定位关键信息；另一方面，长视频中的事件关系复杂，单一的采样策略难以捕获多跨度、多模态的关键信息。传统方法多采用均匀采样或启发式策略，导致背景信息占用大量资源，关键证据被稀释，影响问答准确性。此外，缺乏有效的跨度监督机制，使得模型难以学习到准确的时间定位，限制了问答系统的可靠性和解释性。解决这一问题需要一种能够动态重分配计算资源、结合结构化知识的创新方法。
核心创新
本研究的创新点主要体现在以下几个方面：第一，提出Video-in-the-Loop（ViTL）框架，利用两阶段策略实现长视频中关键事件的高效定位与回答，显著提升效率。第二，设计组相对策略（GRPO），将时间IoU与答案正确性结合，端到端优化跨度定位与问答性能。第三，构建VGrounding-QA数据集，将事件图谱转化为跨度绑定的多选题，丰富监督信号，增强模型对复杂事件的理解能力。第四，引入跨度感知的标注生成流程，自动配对跨度与多选题，提升训练的有效性。整体而言，该方法突破了传统均匀采样的局限，实现了在有限预算下的高效、可解释的长视频理解。
方法详解
- �� 第一阶段，模型以低帧率（如每秒1-2帧）扫描整个视频，输入视频片段和问答相关的检索查询，输出一个或多个候选时间区间（IoU优化目标）。
- �� 采用IoU指标（tIoU）衡量候选区间与真实标注的重叠程度，训练中引入边界和时间一致性损失。
- �� 第二阶段，模型在候选区内以高帧率（如每秒4-8帧）重分配视觉标记，采样对应时间段的帧，进行细粒度推理。
- �� 在高帧率中，模型结合跨度信息，生成多项选择答案，并输出对应的时间跨度，确保答案与定位的关联性。
- �� 训练中，利用组相对策略（GRPO）对多响应进行采样，结合奖励信号（IoU和答案正确性）进行优化，确保跨度定位对答案有实际贡献。
- �� 构建事件知识图谱，从视频中提取事件、对象关系，自动生成跨度绑定的多选题，作为监督信号。
- �� 端到端训练过程中，模型不断调整跨度和答案的匹配，优化整体性能。
实验设计
在Charades-STA、ActivityNet-Captions和LongVideoBench等数据集上，模型采用固定计算预算（如每题128帧）进行评估。对比基线包括均匀采样和启发式采样方法。指标包括Recall@IoU、mIoU和问答准确率。训练中使用超参数如学习率0.0001、批次大小16，进行多轮调优。通过消融实验验证：跨度感知重分配优于均匀采样，端到端训练显著提升性能。模型在长视频问答中的表现优于现有方法，尤其在稀疏事件检测和多跨度场景中表现突出。
结果分析
模型在Charades-STA的Recall@IoU=0.5达到63.5%，比传统均匀采样提升了约8个百分点。在ActivityNet-Captions中，问答准确率提升至47.4%，优于对比模型。在长视频任务中，最高节省50%的帧输入，仍保持较高的准确率。ablation显示，跨度感知重分配带来平均4.2%的性能提升，端到端优化增强了模型的鲁棒性。整体结果验证了ViTL在多任务、多模态长视频理解中的优越性。
应用场景
该方法适用于视频内容检索、智能监控、自动问答、内容审核等场景，尤其在需要高效处理长视频的应用中表现出色。通过结构化事件知识图谱，可以实现更精确的事件追踪与分析。未来，结合多模态信息和自监督学习，有望实现更广泛的应用，如自动视频摘要、虚拟助手等。
局限与展望
模型在极端复杂或场景变化剧烈的视频中，仍存在定位偏差和理解不足的问题。训练依赖大量人工标注的事件图谱，成本较高，泛化能力有待提升。此外，模型在超长视频中的计算成本仍较高，未来需优化模型结构和推理策略以适应更大规模数据。
通俗解读 非专业人士也能看懂
想象你在一个大型工厂里工作，工厂里有很多不同的机器和流程。每当你需要找到某个特定的零件或完成某个任务时，你不会一开始就看整个工厂的每个角落，而是先用一个简单的扫描仪快速扫一遍，找到可能的区域。然后，你会集中精力在这些区域里仔细检查，找到真正需要的零件或信息。这个方法节省了时间和精力，也让你更容易找到关键的东西。
类似地，这篇论文提出的方法也是先用低帧率快速扫描整个视频，找到可能的关键时间段，然后再用高帧率详细分析这些段落，回答问题。这样做可以在保证效率的同时，确保找到最重要的内容。模型还会学习如何把注意力集中在关键事件上，就像你在工厂里学会了快速识别重要的机器一样。这种方法让长视频的理解变得更快、更准确，也更容易解释为什么模型会得出某个答案。
简单解释 像给14岁少年讲一样
想象你在看一部很长的电影，要找到某个特定的场景或者答案，直接从头到尾看一遍很费时间。于是，你可以先用快进模式，快速浏览整个电影，找到可能有用的片段，然后再专门放慢速度，仔细看这些片段，找到答案。这就像用放大镜仔细观察你之前快速扫过的区域一样。
这篇论文的研究也是用类似的方法：先用低帧率扫描整个视频，找到可能的重要时间段，然后再用高帧率仔细分析这些片段，回答问题。这样既节省了时间，又能找到关键内容。模型会学习在哪些地方要放慢速度，在哪些地方可以快进，就像你在看电影时学会了快速找到想看的部分。这种方法让理解长视频变得更快、更聪明，也更容易让人理解模型为什么会给出某个答案。它就像你用放大镜和快进按钮，巧妙地找到电影中的秘密一样！
原文摘要
We present \emph{Video-in-the-Loop} (ViTL), a two-stage long-video QA framework that preserves a fixed token budget by first \emph{localizing} question-relevant interval(s) with a low-fps skim and then \emph{answering} via span-aware reallocation of visual tokens at higher effective frame rate, emitting an interleaved output with both spans and the final option for direct attribution. We also introduce \dataname{}, which converts description based event graphs into \emph{span-grounded} multiple-choice QA by pairing each question with \emph{ground-truth} time span(s) and related reasoning. ViTL is trained end-to-end with an interleaved group-relative objective that couples temporal IoU for localization with answer correctness, allowing credit to flow from answers back to spans without increasing compute. Under fixed token budgets, ViTL attains up to 8.6% with 50% less frame input on long-video QA and temporal grounding (e.g., Charades-STA, ActivityNet-Captions) and ablations show that span-aware token reallocation consistently surpasses uniform sampling. Together, \dataname{} and ViTL provide an interpretable, compute-efficient recipe for scalable long-video QA.