核心发现
方法论
HOMER构建三层层级记忆：感知缓冲区存储关键帧，实体图组织人物记忆，事件图链接事件段的时间与因果关系。主动推理器通过多轮检索与验证机制，逐步定位相关场景、查找细节、整合证据。采用问答分解、任务调度、检索调控等技术，实现对长视频的高效结构化理解。具体算法包括事件图的增量构建、实体图的匹配与更新，以及多模态检索策略，确保信息覆盖与检索效率兼顾。
关键结果
- 在M3-Bench-robot、M3-Bench-web和Video-MME-Long三个数据集上，HOMER分别超越最优方法5.5、10.8和4.4分，表现出显著的性能提升。其模型无关性表明结构设计具有广泛适应性，能在不同基础模型上实现长视频推理。实验还显示，层级记忆显著改善多跳推理能力，有效解决长视频中信息分散与因果关系建模难题。
- 通过消融实验验证，事件图的因果连接和多轮检索机制是性能提升的关键。多模态检索策略在复杂场景中增强证据定位能力，验证了模型在多源信息融合方面的优越性。此外，主动推理中的验证-修正环节确保推理步骤的准确性，减少误导信息。
- 在不同模型基础上，HOMER均能实现性能提升，显示其模型无关性和结构优势。长视频理解中的信息组织、推理策略和多轮交互的创新，为未来多模态长视频AI提供了可扩展的框架。
研究意义
该研究突破了长视频理解的瓶颈，提出层级记忆与主动推理结合的新框架，极大改善了信息组织、因果关系建模和多跳推理能力。其模型无关性和高效性，为多模态AI在自动驾驶、智能监控、内容分析等领域的应用提供了技术支撑。解决了长视频中信息碎片化、推理复杂化的问题，推动了长时序多模态理解的理论与实践发展。未来，该框架有望结合更丰富的模态信息，进一步提升智能系统的长时记忆与推理能力。
技术贡献
HOMER创新性地引入多层次结构的记忆体系，结合感知、人物、事件三个层级，显著增强长视频的结构化理解能力。提出主动推理机制，利用验证-修正策略实现多轮检索与证据整合，突破传统单轮检索的局限。其模型无关设计，兼容多种基础大模型，展示出良好的扩展性。通过事件因果连接，增强模型的多跳推理能力，有效应对长视频中信息分散和因果关系复杂的问题。这些技术创新为长视频理解提供了新的思路和工具。
新颖性
本研究首次将层级记忆架构与主动推理机制结合，构建适用于在线长视频理解的结构化记忆体系。不同于以往仅关注视觉压缩或单一记忆存储的方法，HOMER强调多尺度、多关系的显式建模，特别是事件的因果关系。其模型无关性和多轮验证机制，为长视频推理带来全新突破，填补了在线推理中缺乏结构化事件关系建模的空白。
局限性
- 当前模型对极长视频中的稀疏事件或突发场景仍存在理解困难，因其依赖预定义的层级结构和显式关系，可能忽略潜在复杂的因果链。
- 多轮检索与验证机制虽提升准确率，但在极端复杂或高噪声场景中，仍可能出现误导或遗漏信息的问题，且计算成本较高。
- 模型在多模态信息融合方面尚有提升空间，尤其是在多源信息不一致或模态缺失时的鲁棒性不足。未来需优化模型的自适应能力和推理效率。
未来方向
未来将探索更丰富的多模态信息融合策略，提升模型对多源异构数据的理解能力。计划引入自监督学习和强化学习机制，增强模型的自主学习与推理能力。同时，考虑引入更复杂的因果关系建模，提升长时间跨度事件的推理精度。还将优化模型的计算效率，适应更大规模和更复杂的长视频场景，推动长视频理解的实际应用落地。
AI 总览摘要
长视频理解一直是人工智能领域的核心挑战之一。传统方法多依赖于稀疏抽样或压缩技术，难以同时兼顾信息完整性与推理深度。随着多模态大模型的发展，如何在有限的记忆空间内实现高效、结构化的长时序推理，成为研究热点。本文提出HOMER（Hierarchical Online Memory Exploration and Reasoning），一种结合多层次记忆体系与主动推理机制的创新框架。
HOMER模仿人类认知，将长视频的记忆划分为感知、人物和事件三个层级。感知层存储关键帧，实体层组织人物记忆，事件层链接事件段的因果关系。通过增量构建事件图和实体图，模型实现了对复杂因果关系的显式建模。主动推理器采用多轮检索、验证与修正策略，逐步定位相关场景、查找细节、整合证据，极大提升多跳推理能力。
在多个长视频理解基准上，HOMER超越了现有最优方法，性能提升达+10.8分，验证了其结构优势和模型无关性。实验还表明，层级记忆和主动推理机制在信息组织和推理深度上具有显著优势，为未来多模态长视频AI提供了强大工具。该研究不仅解决了长视频中的信息碎片化和因果关系建模难题，也为智能内容分析、自动驾驶等应用提供了理论基础。未来，结合更丰富的模态信息和优化推理效率，HOMER有望推动长视频理解迈向更高水平。
深度分析
研究背景
长视频理解是多模态人工智能的重要方向，早期方法多依赖稀疏抽样和压缩技术，如VideoTree、LongVLM等，旨在平衡信息量与模型容量。近年来，基于工具和主动推理的模型逐渐兴起，代表有VideoAgent、LongVT等，强调多轮交互与证据整合。然而，这些方法多为离线场景，难以应对实时在线处理需求。在线方法如Wang et al.的稀疏记忆和Zeng et al.的事件森林，试图在有限记忆中组织信息，但缺乏显式因果关系建模，难以实现多跳推理。整体而言，长视频理解仍面临信息碎片化、因果关系复杂和推理深度不足的挑战。
核心问题
核心问题在于如何在有限记忆空间内，结构化地组织长视频中的信息，特别是显式建模事件间的因果关系，实现高效多跳推理。现有在线方法多采用粗粒度记忆或单一检索机制，难以兼顾信息覆盖和细粒度细节，导致推理准确率不足。此外，缺乏主动推理和验证机制，容易受噪声干扰，难以应对复杂场景。解决这些瓶颈对于实现智能化长视频内容理解、场景分析具有重要意义。
核心创新
HOMER的创新点在于：1）引入多层次层级记忆体系，将感知、人物、事件分层组织，显式建模事件的时间与因果关系；2）采用主动推理机制，通过多轮检索、验证与修正，动态定位证据，提升多跳推理能力；3）模型无关设计，兼容多种基础大模型，具有良好的扩展性；4）引入任务调度与验证机制，确保推理步骤的正确性。此架构突破了传统单一记忆或离线模型的限制，为在线长视频理解提供了新思路。
方法详解
- �� 构建三层记忆体系：感知缓冲区存储关键帧，实体图组织人物记忆，事件图链接事件段的因果关系。
- �� 采用增量构建策略：事件图在视频流中动态创建、扩展和连接，确保结构随视频演进而优化。
- �� 多轮主动推理：通过任务分解，将问题拆解为子任务，利用多模态检索（事件、实体、关键帧）逐步收集证据。
- �� 验证-修正机制：每轮检索后，模型验证证据充分性，必要时进行修正或重检。
- �� 任务调度：维护任务清单，优先处理未解决子任务，保证推理连续性。
- �� 自我演化：总结推理经验，优化检索策略，提升模型自主学习能力。
实验设计
在M3-Bench-robot、M3-Bench-web和Video-MME-Long三个数据集上，采用问答和多项选择评估指标，比较HOMER与SOTA方法。设置不同模型基础（如GPT-3.5、Llama-2）验证模型无关性。通过消融实验，验证事件图因果连接、多轮检索和验证机制的重要性。参数调优包括记忆层数、检索轮次、验证阈值等，确保模型在长视频中的高效表现。评估指标涵盖准确率、召回率和推理深度。
结果分析
HOMER在三个数据集上均实现性能突破，分别超越最优方法5.5、10.8和4.4分。多轮检索和验证机制显著提升多跳推理准确率，验证了模型在复杂场景中的鲁棒性。层级记忆结构有效组织信息，减少了信息遗漏。模型兼容多种基础模型，表现出良好的扩展性和适应性。消融实验确认事件因果连接和多轮验证是性能提升的核心因素。
应用场景
该框架适用于智能视频内容分析、自动驾驶场景理解、智能监控等领域。只需输入长视频流，模型即可实现实时结构化理解和推理，支持多模态信息融合。未来可结合边缘计算，推动智能监控和自动驾驶的自主决策能力提升。还可应用于影视内容分析、虚拟助手等多种场景，极大丰富人机交互的智能化水平。
局限与展望
当前模型对极端复杂或噪声较多的场景仍存在理解偏差，因其依赖显式关系和预定义结构。多轮检索带来较高计算成本，不适合超大规模实时应用。模型在多模态信息融合方面仍需优化，面对模态缺失或不一致时表现不足。未来需提升鲁棒性和效率，扩展模型的适应范围。
通俗解读 非专业人士也能看懂
想象你在整理一份长长的家庭相册，每一张照片都记录了不同的时刻。有些照片是家庭聚会，有些是旅行风景，还有一些是重要的事件。要理解整个家庭故事，你需要把这些照片按照时间顺序和事件关系整理起来，找出谁在什么场合做了什么事。HOMER就像这个整理者，它用不同的“文件夹”存放不同类型的记忆：一层存照片，一层存人物信息，还有一层连接事件的故事线。每次有人问你一个关于家庭的故事，你会先找到相关的照片，然后查找人物的细节，最后把故事拼凑完整。它还会反复检查，确保每个细节都准确无误。这样，长视频中的复杂故事就变得像整理家庭相册一样清晰有序，容易理解。
简单解释 像给14岁少年讲一样
想象你在看一部很长的电影，里面有很多不同的场景、人物和故事线。要理解整部电影，你不能只看一眼就知道全部内容，而是要记住每个重要的场景、人物的动作和他们之间的关系。HOMER就像一个聪明的助手，它把电影的内容分成三个部分：一部分是关键画面，帮助你快速回忆；一部分是关于人物的记忆，告诉你谁是谁、他们做了什么；还有一部分是故事的线索，把不同场景连接起来，告诉你事件是怎么发生的。每当你问它一个问题，它会先找到相关的场景，然后查查人物的细节，最后把答案拼凑出来。它还会反复确认信息的正确性，确保你得到的答案是准确的。这样一来，即使电影很长，也能像看短片一样明白整个故事。
术语表
Hierarchical Memory (层级记忆)
一种多层次组织信息的结构，从感知到事件关系逐层递进，便于长时序推理。
HOMER的三层记忆体系，分别是感知缓冲、实体图和事件图。
Agentic Reasoner (主动推理器)
一种具有主动检索、验证和修正能力的推理机制，模拟人类主动寻找证据的过程。
核心在于多轮检索与验证，提升长视频多跳推理能力。
EventGraph (事件图)
表示事件段之间的时间和因果关系的有向图，用于捕捉长视频中的叙事结构。
支持多跳推理和事件关系建模。
Multi-round Retrieval (多轮检索)
多次交互式检索证据，每轮根据前一轮结果调整搜索策略。
提升复杂推理的准确性。
Causal Links (因果关系)
事件之间的因果连接，描述事件的因果依赖关系。
显式建模事件的因果链，增强推理深度。
开放问题 这项研究留下的未解疑问
- 1 如何在极端长视频中保持高效推理，减少计算成本仍是挑战。未来需要探索更智能的记忆压缩和推理优化策略。
- 2 多模态信息融合的鲁棒性不足，面对模态缺失或噪声时模型表现有限，需进一步提升模型的适应能力。
原文摘要
Multimodal large language models excel on short clips but struggle on hour-long videos in an online setting, where frames are processed incrementally under limited memory. Existing online methods either retain compact visual representations that lack semantic structure, or build higher-level memory stores organized around temporal proximity rather than explicit causal links, leaving multi-hop narrative reasoning to be reconstructed by the LLM at every query. We bridge this gap with \textsc{Homer}, a Hierarchical Online Memory Exploration and Reasoning framework. \textsc{Homer}'s memory mirrors the multi-scale structure of long videos, ranging from raw perception, to recurring entities, to events connected by explicit temporal and causal relations. Its agentic reasoner then explores this memory the way humans do, locating the relevant scene, looking up details, and composing the answer through multi-round memory retrieval, with a harness that verifies and corrects each step. \textsc{Homer} outperforms the previous best agent method by $+5.5$, $+10.8$, and $+4.4$ points on M3-Bench-robot, M3-Bench-web, and Video-MME-Long, and consistently lifts three various LLM backbones, indicating a model-agnostic structural capability for grounded retrieval over long videos.