Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing
AutoGaze通过自回归选择多尺度视频片段，减少冗余，提升效率，支持1K帧4K视频处理。
核心发现
方法论
AutoGaze是一种轻量级模块，通过自回归选择多尺度视频片段，减少冗余。它通过下一个token预测和强化学习进行训练，选择能在用户指定误差阈值内重建视频的最小片段集。该方法显著减少了视觉token的数量，并加速了视觉变换器和多模态大语言模型的处理速度。
关键结果
- AutoGaze在不同帧率和分辨率的视频中减少了4至100倍的视觉token数量，同时保持下游多模态大语言模型性能。这使得视觉变换器和多模态大语言模型的速度提升了最多19倍。
- 在VideoMME基准测试中，AutoGaze达到了67.0%的性能表现，超越了强大的多模态大语言模型如Qwen2.5-VL。
- 在新引入的高分辨率长视频QA基准测试HLVid中，使用AutoGaze的多模态大语言模型性能比基线提升了10.1%，并超过了之前的最佳模型4.5%。
研究意义
AutoGaze通过显著减少视频处理中的冗余，提升了多模态大语言模型在长视频和高分辨率视频上的处理能力。这一方法不仅提高了现有模型的效率，还为处理更复杂的视频数据提供了可能性，填补了现有方法在高分辨率长视频处理上的空白。
技术贡献
AutoGaze的技术贡献在于其创新性地使用自回归方法选择多尺度片段，显著减少了视觉token的数量。与现有方法相比，它不仅在模型内部或视觉变换器与大语言模型之间进行token修剪，而是直接在输入阶段减少冗余，提高了整体效率。
新颖性
AutoGaze首次引入了自回归的多尺度片段选择方法，区别于以往依赖启发式或重计算的冗余去除方法。其创新在于通过强化学习优化片段选择，确保在信息保留的同时最大化效率。
局限性
- AutoGaze在处理极端复杂或动态变化剧烈的视频时可能表现不佳，因为这些场景需要更高的细节保留。
- 该方法在训练数据上表现优异，但在某些未见过的风格或语义视频上可能存在泛化问题。
- 由于依赖于强化学习和自回归选择，AutoGaze的训练过程可能较为复杂和耗时。
未来方向
未来的研究方向包括优化AutoGaze的训练效率，探索其在更多未见过的视频风格和语义上的泛化能力。此外，可以进一步研究如何将其应用于实时视频处理场景，以及在更大规模的视频数据集上进行测试。
AI 总览摘要
在视频理解领域，现有的多模态大语言模型虽然在一般视频理解上取得了进展，但在处理长时间、高分辨率的视频时仍面临挑战。这是因为这些模型在视觉变换器或大语言模型中对每个像素一视同仁地处理，未能有效去除视频中的时空冗余。
AutoGaze是一种新颖的轻量级模块，旨在解决这一问题。通过自回归地选择多尺度视频片段，AutoGaze在处理前去除了冗余片段，从而减少了视觉token的数量。它通过下一个token预测和强化学习进行训练，确保在用户指定的误差阈值内重建视频。
AutoGaze的核心技术原理在于其自回归选择机制。类似于人类观看视频时的眼动追踪，AutoGaze能够智能地选择信息丰富的区域，忽略静态背景。这使得它能够高效处理高帧率、高分辨率的视频流。
实验结果表明，AutoGaze在不同帧率和分辨率的视频中减少了4至100倍的视觉token数量，同时保持下游多模态大语言模型性能。这使得视觉变换器和多模态大语言模型的速度提升了最多19倍。在VideoMME基准测试中，AutoGaze达到了67.0%的性能表现，超越了强大的多模态大语言模型如Qwen2.5-VL。
此外，AutoGaze还引入了首个高分辨率长视频QA基准测试HLVid。在该基准测试中，使用AutoGaze的多模态大语言模型性能比基线提升了10.1%，并超过了之前的最佳模型4.5%。这表明AutoGaze在处理复杂视频数据方面具有显著优势。
尽管AutoGaze在视频理解上取得了显著进展，但其在处理极端复杂或动态变化剧烈的视频时可能表现不佳。此外，由于依赖于强化学习和自回归选择，AutoGaze的训练过程可能较为复杂和耗时。未来的研究方向包括优化其训练效率，并探索其在更多未见过的视频风格和语义上的泛化能力。
深度分析
研究背景
视频理解技术近年来取得了显著进展，尤其是在多模态大语言模型（MLLMs）的推动下。这些模型通过结合视觉和语言信息，能够在视频问答、视频字幕生成等任务中表现出色。然而，随着视频内容的复杂化，尤其是长时间、高分辨率视频的出现，现有方法在处理这些视频时面临巨大挑战。这主要是因为视频中的时空冗余问题，即大量的静态背景和重复信息导致计算资源的浪费。传统的方法往往对每个像素一视同仁地处理，未能有效去除这些冗余信息。因此，如何在不损失信息的前提下高效处理长时间、高分辨率的视频成为一个亟待解决的问题。
核心问题
现有的多模态大语言模型在处理长时间、高分辨率的视频时面临显著的计算瓶颈。这些模型通常依赖于视觉变换器（ViTs）或大语言模型（LLMs）对每个像素进行处理，未能有效去除视频中的时空冗余。这导致了计算资源的浪费，限制了模型在长视频和高分辨率视频上的扩展能力。此外，现有的方法往往依赖于启发式的冗余去除策略，这些策略在处理复杂视频时表现不佳。因此，如何设计一种能够智能选择信息丰富区域并忽略冗余信息的方法成为一个关键问题。
核心创新
AutoGaze引入了一种创新的自回归多尺度片段选择方法，旨在解决视频中的时空冗余问题。其核心创新包括：
1. 自回归选择机制：AutoGaze通过自回归地选择多尺度视频片段，能够智能地选择信息丰富的区域，忽略静态背景。
2. 多尺度片段选择：通过选择不同尺度的片段，AutoGaze能够在不损失信息的前提下减少视觉token的数量。
3. 强化学习优化：AutoGaze通过强化学习优化片段选择，确保在信息保留的同时最大化效率。这些创新使得AutoGaze能够高效处理高帧率、高分辨率的视频流。
方法详解
AutoGaze的方法论包括以下几个关键步骤：
- �� 数据预处理：对输入视频进行预处理，将其分割成多尺度片段。
- �� 自回归选择：通过自回归机制选择信息丰富的片段，忽略冗余信息。
- �� 强化学习训练：通过下一个token预测和强化学习进行训练，优化片段选择策略。
- �� 多尺度片段重建：根据选择的片段重建视频，确保在用户指定的误差阈值内重建视频。
- �� 整合到现有模型：将AutoGaze整合到现有的视觉变换器和多模态大语言模型中，提高其处理效率。
实验设计
实验设计包括使用多个基准测试数据集来评估AutoGaze的性能。主要使用的数据集包括VideoMME和新引入的HLVid基准测试。实验中比较了AutoGaze与现有多模态大语言模型在处理长视频和高分辨率视频上的性能差异。关键的超参数包括片段选择的尺度和自回归选择的步长。此外，还进行了消融实验，以验证AutoGaze在不同视频风格和语义上的泛化能力。
结果分析
实验结果表明，AutoGaze在不同帧率和分辨率的视频中减少了4至100倍的视觉token数量，同时保持下游多模态大语言模型性能。这使得视觉变换器和多模态大语言模型的速度提升了最多19倍。在VideoMME基准测试中，AutoGaze达到了67.0%的性能表现，超越了强大的多模态大语言模型如Qwen2.5-VL。此外，在新引入的高分辨率长视频QA基准测试HLVid中，使用AutoGaze的多模态大语言模型性能比基线提升了10.1%，并超过了之前的最佳模型4.5%。
应用场景
AutoGaze的应用场景包括：
1. 视频问答：通过高效处理长时间、高分辨率视频，提升视频问答系统的性能。
2. 视频字幕生成：在不损失信息的前提下，快速生成高质量的视频字幕。
3. 实时视频分析：通过减少冗余信息，实现对实时视频流的高效分析，适用于监控和自动驾驶等领域。
局限与展望
尽管AutoGaze在视频理解上取得了显著进展，但其在处理极端复杂或动态变化剧烈的视频时可能表现不佳。这是因为这些场景需要更高的细节保留。此外，由于依赖于强化学习和自回归选择，AutoGaze的训练过程可能较为复杂和耗时。未来的研究方向包括优化其训练效率，并探索其在更多未见过的视频风格和语义上的泛化能力。
通俗解读 非专业人士也能看懂
想象一下你在看一场足球比赛。你不需要每时每刻都盯着球场上的每一个细节，而是会关注球在哪里、球员的动作以及关键的比赛时刻。AutoGaze就像是一个聪明的观众，它能够自动选择那些重要的比赛片段，而忽略那些不重要的细节。这不仅让观看体验更加流畅，也节省了大量的时间和精力。
在视频处理中，传统的方法就像是一个不知疲倦的观众，试图关注每一个细节，这样做不仅效率低下，还会浪费大量的计算资源。而AutoGaze则通过一种叫做自回归选择的技术，像聪明的观众一样，只关注那些真正重要的部分。
这种方法的好处在于，它能够在不损失重要信息的前提下，大大减少需要处理的数据量。这就像是只需看精彩集锦就能了解整场比赛的精髓，而不必从头看到尾。
总之，AutoGaze通过智能选择视频片段，让视频处理变得更加高效，就像是一个懂得取舍的观众，让你在最短的时间内获取最多的信息。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！你们有没有想过，为什么我们看视频的时候，不需要盯着每一个细节？这就是因为我们的大脑会自动选择那些重要的部分，而忽略那些不重要的细节。AutoGaze就是一个超级聪明的工具，它能帮计算机像我们一样聪明地看视频！
想象一下你在玩一款游戏，你不需要每时每刻都关注游戏里的每一个像素，而是会注意到敌人在哪里、有什么道具可以用。AutoGaze就像是游戏里的一个助手，它能帮你自动选择那些重要的游戏画面，而忽略那些不重要的背景。
这有什么好处呢？这就像是你在学校里做笔记，只记下老师讲的重点，而不是每一个字都抄下来。这样不仅节省了时间，还让你更容易理解和记住重要的信息。
所以，AutoGaze让计算机在处理视频的时候，变得像我们一样聪明，只关注那些真正重要的部分！是不是很酷？
术语表
自回归 (Autoregressive)
一种逐步生成或选择数据的方法，每一步都依赖于之前的步骤。
AutoGaze使用自回归方法选择视频片段。
多模态大语言模型 (Multi-modal Large Language Model)
结合视觉和语言信息的大型模型，用于视频问答和字幕生成等任务。
AutoGaze提升了多模态大语言模型在高分辨率视频上的性能。
视觉变换器 (Vision Transformer)
一种用于图像和视频处理的深度学习模型，能够高效处理视觉信息。
AutoGaze通过减少视觉token数量提升了视觉变换器的效率。
强化学习 (Reinforcement Learning)
一种通过奖励机制训练模型的方法，使其在特定任务中表现更好。
AutoGaze通过强化学习优化片段选择策略。
时空冗余 (Spatiotemporal Redundancy)
视频中重复或不重要的信息，导致计算资源的浪费。
AutoGaze通过去除时空冗余提升了视频处理效率。
片段选择 (Patch Selection)
在视频处理中选择重要片段的过程，以减少数据量。
AutoGaze通过自回归选择重要的多尺度片段。
误差阈值 (Error Threshold)
用户指定的允许误差范围，用于控制视频重建的精度。
AutoGaze在用户指定的误差阈值内重建视频。
基准测试 (Benchmark)
用于评估模型性能的标准数据集或任务。
AutoGaze在VideoMME和HLVid基准测试中表现优异。
消融实验 (Ablation Study)
通过移除或修改模型的某些部分来评估其对整体性能的影响。
实验中进行了消融实验以验证AutoGaze的有效性。
高分辨率 (High Resolution)
视频或图像中包含的像素数量较多，细节更为丰富。
AutoGaze能够高效处理高分辨率视频。
开放问题 这项研究留下的未解疑问
- 1 如何进一步优化AutoGaze在极端复杂或动态变化剧烈的视频上的性能？现有方法在这些场景中可能表现不佳，因为需要更高的细节保留。
- 2 AutoGaze在未见过的视频风格和语义上的泛化能力如何？虽然在训练数据上表现优异，但在某些未见过的视频上可能存在泛化问题。
- 3 如何提高AutoGaze的训练效率？由于依赖于强化学习和自回归选择，AutoGaze的训练过程可能较为复杂和耗时。
- 4 是否可以将AutoGaze应用于实时视频处理场景？目前的研究主要集中在离线视频处理，实时应用可能面临计算资源的限制。
- 5 在更大规模的视频数据集上，AutoGaze的表现如何？现有实验主要在特定基准测试上进行，更大规模数据集的测试尚未进行。
应用场景
近期应用
视频问答系统
通过高效处理长时间、高分辨率视频，提升视频问答系统的性能，适用于教育和娱乐领域。
视频字幕生成
在不损失信息的前提下，快速生成高质量的视频字幕，适用于电影和电视制作。
实时视频分析
通过减少冗余信息，实现对实时视频流的高效分析，适用于监控和自动驾驶等领域。
远期愿景
智能视频编辑
利用AutoGaze的片段选择技术，实现自动化的视频编辑和剪辑，提高视频制作效率。
虚拟现实应用
在虚拟现实环境中，通过高效处理高分辨率视频，提升用户体验，实现更逼真的虚拟场景。
原文摘要
Multi-modal large language models (MLLMs) have advanced general-purpose video understanding but struggle with long, high-resolution videos -- they process every pixel equally in their vision transformers (ViTs) or LLMs despite significant spatiotemporal redundancy. We introduce AutoGaze, a lightweight module that removes redundant patches before processed by a ViT or an MLLM. Trained with next-token prediction and reinforcement learning, AutoGaze autoregressively selects a minimal set of multi-scale patches that can reconstruct the video within a user-specified error threshold, eliminating redundancy while preserving information. Empirically, AutoGaze reduces visual tokens by 4x-100x and accelerates ViTs and MLLMs by up to 19x, enabling scaling MLLMs to 1K-frame 4K-resolution videos and achieving superior results on video benchmarks (e.g., 67.0% on VideoMME). Furthermore, we introduce HLVid: the first high-resolution, long-form video QA benchmark with 5-minute 4K-resolution videos, where an MLLM scaled with AutoGaze improves over the baseline by 10.1% and outperforms the previous best MLLM by 4.5%. Project page: https://autogaze.github.io/.
参考文献 (20)
VideoChat-Flash: Hierarchical Compression for Long-Context Video Modeling
Xinhao Li, Yi Wang, Jiashuo Yu 等
EgoSchema: A Diagnostic Benchmark for Very Long-form Video Language Understanding
K. Mangalam, Raiymbek Akshulakov, J. Malik
LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding
Haoning Wu, Dongxu Li, Bei Chen 等
Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis
Chaoyou Fu, Yuhan Dai, Yondong Luo 等
NVILA: Efficient Frontier Visual Language Models
Zhijian Liu, Ligeng Zhu, Baifeng Shi 等
Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context
Machel Reid, N. Savinov, Denis Teplyashin 等
LLaVA-OneVision: Easy Visual Task Transfer
Bo Li, Yuanhan Zhang, Dong Guo 等
Better & Faster Large Language Models via Multi-token Prediction
Fabian Gloeckle, Badr Youbi Idrissi, Baptiste Rozière 等
InternVideo2: Scaling Foundation Models for Multimodal Video Understanding
Yi Wang, Kunchang Li, Xinhao Li 等
Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset
João Carreira, Andrew Zisserman
Understanding Human Hands in Contact at Internet Scale
Dandan Shan, Jiaqi Geng, Michelle Shu 等
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
Adam Suma, Sam Dauncey
Understanding.
M. George
V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning
Mahmoud Assran, Adrien Bardes, David Fan 等
VisionZip: Longer is Better but Not Necessary in Vision Language Models
Senqiao Yang, Yukang Chen, Zhuotao Tian 等
Anticipating Visual Representations from Unlabeled Video
Carl Vondrick, H. Pirsiavash, A. Torralba
Apollo: An Exploration of Video Understanding in Large Multimodal Models
Orr Zohar, Xiaohan Wang, Yann Dubois 等