核心发现
方法论
研究引入PersistBench数据集和评估套件，利用360°视频作为全知视角的基准。评估侧重于三个方面：物体持久性、运动连续性和外观保持。通过对多种模型的测试，研究揭示了当前模型在物体离开视野后的一致性问题。
关键结果
- 结果1：在物体离开视野后，模型的一致性显著下降，表明当前4D模型的短期记忆能力有限。
- 结果2：在物体持久性评估中，模型表现出明显的短板，无法长期保持视觉信息。
- 结果3：在运动连续性测试中，模型未能准确预测物体的运动轨迹。
研究意义
该研究填补了现有评估标准的空白，提供了一个全新的视角来考察4D模型的视觉记忆能力。通过引入PersistBench，研究为未来的4D模型开发提供了重要的指导，特别是在动态环境中保持视觉信息的能力。
技术贡献
技术贡献包括引入了一个新的数据集PersistBench，提供了360°视频作为基准，提出了新的评估指标。研究揭示了当前4D模型在视觉记忆方面的局限性，为未来的研究提供了明确的方向。
新颖性
该研究首次系统性地评估了4D模型的视觉记忆能力，特别是在物体离开视野后的表现。与以往研究不同，PersistBench提供了全知视角的基准。
局限性
- 局限1：当前模型在物体离开视野后的一致性显著下降，表明其记忆能力有限。
- 局限2：评估仅限于特定的动态环境，可能不适用于所有场景。
未来方向
未来研究可以探索如何增强4D模型的长期记忆能力，特别是在复杂动态环境中的应用。此外，进一步优化PersistBench以适应更广泛的场景也是一个重要方向。
AI 总览摘要
当前的4D基础模型能够感知和重建动态环境，但其记忆能力仍然是一个开放问题。现有的基准主要依赖于像素级指标，缺乏对物体离开视野后的评估。为填补这一空白，研究引入了PersistBench，一个利用360°视频作为全知视角基准的数据集和评估套件。
PersistBench提出了三个评估方面：物体持久性、运动连续性和外观保持。通过对多种模型的测试，研究发现当前模型只能保持短期一致性，一旦物体离开视野，其一致性显著下降。这一发现揭示了当前模型能力与稳健视觉记忆之间的差距。
该研究为未来4D基础模型的发展提供了重要指导，特别是在动态环境中保持视觉信息的能力。PersistBench的数据集和代码已在项目页面上提供，为后续研究提供了便利。
深度分析
研究背景
随着计算机视觉技术的发展，4D基础模型在感知和重建动态环境方面取得了显著进展。然而，这些模型的视觉记忆能力仍然是一个未解决的问题。现有的评估标准主要依赖于像素级指标，缺乏对物体离开视野后的评估。
核心问题
核心问题在于如何评估4D模型的视觉记忆能力，特别是在物体离开视野后的表现。现有基准无法提供全知视角的评估，导致对模型记忆能力的理解有限。
核心创新
研究引入PersistBench，一个新的数据集和评估套件，利用360°视频作为全知视角的基准。与现有方法不同，PersistBench提供了物体持久性、运动连续性和外观保持的评估。
方法详解
- �� 引入PersistBench数据集，利用360°视频作为基准
- �� 提出三个评估方面：物体持久性、运动连续性和外观保持
- �� 对多种模型进行测试，分析其在不同评估方面的表现
实验设计
实验设计包括对多种4D模型的测试，使用PersistBench提供的360°视频作为基准。评估指标包括物体持久性、运动连续性和外观保持。
结果分析
结果显示，当前模型在物体离开视野后的一致性显著下降，表明其短期记忆能力有限。物体持久性和运动连续性测试中，模型表现出明显的短板。
应用场景
该研究的结果可应用于增强4D模型在动态环境中的记忆能力，特别是在自动驾驶和机器人导航等领域。
局限与展望
当前模型在物体离开视野后的一致性显著下降，表明其记忆能力有限。此外，评估仅限于特定的动态环境，可能不适用于所有场景。
通俗解读 非专业人士也能看懂
想象一个工厂，工厂的任务是记住每个生产的产品。当前的4D模型就像这个工厂，它可以看到并记录产品的生产过程，但一旦产品离开生产线，工厂就很难记住它们的细节。PersistBench就像一个全知的监控系统，能够记录每个产品的完整信息，即使它们不在视野内。通过这种方式，我们可以更好地评估工厂的记忆能力，并找出改进的方向。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，游戏中你需要记住所有出现过的角色。4D模型就像你的游戏角色，它能看到并记住当前的角色，但一旦角色离开屏幕，它就很难记住他们的样子。PersistBench就像一个超级记忆助手，它能帮助你记住所有角色，即使他们不在屏幕上。这项研究就是为了让4D模型变得更聪明，更能记住所有重要的信息！
术语表
4D Foundation Models (4D基础模型)
能够感知和重建动态环境的模型，通常用于视频和3D重建。
用于评估模型的视觉记忆能力。
PersistBench
一个新的数据集和评估套件，利用360°视频作为基准。
用于评估4D模型的视觉记忆能力。
Object Permanence (物体持久性)
评估模型在物体离开视野后是否能记住其存在。
PersistBench的三个评估方面之一。
Motion Continuity (运动连续性)
评估模型在物体运动过程中是否能保持一致性。
PersistBench的三个评估方面之一。
Appearance Preservation (外观保持)
评估模型在物体外观变化时是否能保持一致性。
PersistBench的三个评估方面之一。
开放问题 这项研究留下的未解疑问
- 1 如何增强4D模型的长期记忆能力，特别是在复杂动态环境中的应用。
- 2 PersistBench是否能适用于更广泛的场景，特别是在不同的动态环境中。
应用场景
近期应用
自动驾驶
增强自动驾驶系统在动态环境中的记忆能力，提高安全性和可靠性。
远期愿景
智能机器人
开发能够在复杂环境中自主导航和决策的智能机器人，提升人机交互体验。
原文摘要
Perceiving and remembering the visual world is fundamental to navigating and interacting with our environment. Current 4D foundation models, such as camera-controllable video models or 4D reconstruction models, can perceive and reconstruct dynamic environments, but how well they remember what they have perceived remains an open question. Existing benchmarks largely rely on pixel-level metrics and lack ground truth for objects once they leave the field of view, making them unable to evaluate visual memory in an object-centric manner against references. To fill this gap, we introduce PersistBench, a dataset and metric suite that leverages 360° videos as omniscient ground truth and proposes three evaluation aspects: object permanence, motion continuity, and appearance preservation. Evaluating various models across diverse categories reveals that current models can only maintain short-term consistency that degrades significantly once objects leave the field of view. Our findings highlight the gap between current model capabilities and robust visual memory ("seeing is not remembering"), providing guidance for future development of 4D foundation models. Dataset and code are available on the project page: https://guangzhaohe.com/persistbench.