核心发现
方法论
MyBuddy采用多模态链式推理机制，结合历史问答和视觉内容推断最终答案。设计了问题过滤器和多级记忆机制，以提高流媒体问答环境下的效率。
关键结果
- MyBuddy在BuddyVQA基准上实现了超过50%的准确率提升，显著优于现有基础模型。
- 在其他流媒体和常规视频QA基准上也表现出色，验证了方法的通用性。
- 消融实验显示，链式推理和多级记忆对性能提升至关重要。
研究意义
该研究为自我视角视频问答提供了新的基准和方法，解决了现有模型在处理自我指示表达和交互式链式问题时的不足。对学术界和工业界在开发实时智能助手方面具有重要意义。
技术贡献
提出了一种无训练、模型不可知的框架MyBuddy，能够处理自我指示和链式问题，提供了新的工程可能性。
新颖性
MyBuddy首次在自我视角流媒体环境中实现了多模态链式推理，显著提升了问答助手的实用性。
局限性
- 在处理极长视频时，记忆机制可能导致性能瓶颈。
- 对复杂的视觉场景仍有误判可能。
未来方向
未来可探索更高效的记忆管理策略和更复杂的视觉推理能力，以进一步提高系统的实时性和准确性。
AI 总览摘要
随着可穿戴摄像机和混合现实设备的快速普及，自我视角视觉助手成为增强日常人类体验的重要研究领域。现有的视频问答模型大多关注离线、第三人称视角的视频片段，忽视了在共享第一人称上下文中发生的交互式链式问题和自我指示表达。为此，研究者们提出了BuddyVQA基准，专注于流媒体环境下的自我视角问答助手。
MyBuddy框架通过多模态链式推理机制，结合历史问答和视觉内容推断最终答案。其设计的多级记忆机制和问题过滤器能够高效地在流媒体环境下检索问答和视觉信息。实验结果表明，MyBuddy在BuddyVQA基准上显著提升了基础模型的性能，并在其他流媒体和常规视频QA基准上表现出色。
尽管MyBuddy在处理自我指示和链式问题方面取得了突破，但在处理极长视频时，记忆机制可能导致性能瓶颈。未来的研究可以探索更高效的记忆管理策略和更复杂的视觉推理能力，以进一步提高系统的实时性和准确性。
深度分析
研究背景
随着可穿戴摄像机和混合现实设备的普及，自我视角视觉助手成为研究热点。现有的视频问答模型主要处理离线、第三人称视频片段，忽视了自我视角中的交互式链式问题和自我指示表达。
核心问题
传统视频问答模型难以处理自我视角中的自我指示表达和交互式链式问题。这些问题需要模型在流媒体环境中推断用户的意图。
核心创新
MyBuddy框架通过多模态链式推理机制解决了自我指示和链式问题。其多级记忆机制和问题过滤器提高了流媒体环境下的效率。
方法详解
- �� 多模态链式推理：结合历史问答和视觉内容推断答案。
- �� 问题过滤器：提高问答检索效率。
- �� 多级记忆机制：在流媒体环境下高效存储和检索信息。
实验设计
在BuddyVQA基准上进行实验，使用多种流媒体和常规视频QA数据集验证MyBuddy的性能。消融实验显示，链式推理和多级记忆对性能提升至关重要。
结果分析
MyBuddy在BuddyVQA基准上实现了超过50%的准确率提升，并在其他基准上表现出色，验证了方法的通用性。
应用场景
MyBuddy可用于开发实时智能助手，特别是在需要处理自我视角视频问答的场景中。
局限与展望
在处理极长视频时，记忆机制可能导致性能瓶颈。未来可探索更高效的记忆管理策略。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭，助手在旁边帮助你。你问“这个可以吃了吗？”助手会根据之前的对话和当前的视觉信息给出答案。MyBuddy就像这样的助手，能够理解你在自我视角视频中的问题，并给出合理的回答。
简单解释 像给14岁少年讲一样
想象你在玩游戏，助手在旁边帮助你。你问“我该往哪走？”助手会根据之前的对话和当前的游戏画面告诉你该怎么做。MyBuddy就像这样的助手，能够理解你在自我视角视频中的问题，并给出合理的回答。
术语表
多模态链式推理
结合多种信息源进行推理的过程，特别是在视频问答中。
MyBuddy使用多模态链式推理来处理自我指示和链式问题。
自我指示表达
在第一人称视角中使用的指示性语言，如“这个”、“那里”。
BuddyVQA基准强调了自我指示表达的重要性。
流媒体环境
实时处理视频流的环境，要求高效的信息检索和推理。
MyBuddy在流媒体环境下实现了高效的问答处理。
多级记忆机制
用于高效存储和检索信息的分层记忆系统。
MyBuddy通过多级记忆机制提高了流媒体环境下的效率。
问题过滤器
用于提高问答检索效率的机制。
MyBuddy设计了问题过滤器以提高流媒体问答的效率。
开放问题 这项研究留下的未解疑问
- 1 如何在极长视频中高效管理记忆仍是一个挑战。
- 2 复杂视觉场景下的误判问题需要进一步研究。
应用场景
近期应用
实时智能助手
MyBuddy可用于开发实时智能助手，特别是在需要处理自我视角视频问答的场景中。
远期愿景
增强现实应用
未来可将MyBuddy应用于增强现实设备，提供更智能的用户交互体验。
原文摘要
AI companions are envisioned as always-on assistants that support users in daily life. With this regard, we introduce BuddyVQA, a benchmark for companion-style question answering (QA) on egocentric streaming video. BuddyVQA contains 21.6K questions linked to 6K highlight moments across 1,012 long, egocentric videos. It features two key characteristics that are common in daily first-person QA assistance but are largely overlooked in existing VideoQA benchmarks: ego-deictic expressions and interactively chained questions (e.g., "Where is it?", "How to get there?"). These require models to infer a user's in-situation intent by resolving visual pronouns in the context of egocentric visual and QA contents, with both grounded in a long-form streaming setting. To tackle the challenges, we propose MyBuddy, a companion-style QA assistant that highlights a multimodal chain-of-thought reasoning mechanism to infer the final answer based on the historical QA and visual content. An additional question filter and multi-level memory are designed to facilitate efficient QA and visual information retrieval under streaming QA settings. Experiments show that MyBuddy significantly enhances the performance of foundation models on BuddyVQA. Moreover, these gains generalize to other streaming and common video QA benchmarks, demonstrating the applicability and effectiveness of our approach. Our code and dataset are available at https://github.com/QHUni/BuddyVQA