What, Where, and How: Probing Spatiotemporal Representations in Video Foundation Models
通过层级探测V-JEPA 2和VideoMAE-v2模型中的时空表示，揭示摄像机运动、物理理解和异常检测的编码特性。
核心发现
方法论
采用逐层探测方法，训练轻量级线性分类器，评估模型在摄像机运动、直观物理和异常检测任务中的编码能力。通过提取不同层的特征，分析其线性可分性和几何结构，结合PCA和样条插值实现空间导航。研究还利用特征轨迹在表示空间中的平滑性，验证模型对运动信息的组织方式。具体算法包括支持向量机（SVM）线性探测和样条曲线插值，结合深层Transformer层的特征输出，系统揭示了模型在不同层次的时空信息编码特征。
关键结果
- 模型在摄像机运动任务中表现优异，ROC AUC超过90%，最佳效果出现在模型深度的60-70%，说明运动信息在中间层最易提取。异常检测任务中表现中等，ROC AUC超过60%，而直观物理理解几乎未被模型编码，接近随机水平，反映出深层物理推理的局限性。
- 特征空间中的时间轨迹呈现平滑低维流形结构，支持线性和非线性（样条）插值，后者能生成更平滑、更连贯的运动轨迹，提升视频的时间连续性和运动一致性。
- 层级分析显示不同任务依赖的抽象层次不同，运动信息在早期层次就已明显编码，异常检测则集中在深层，表明任务的语义复杂度不同。
研究意义
本研究首次系统性揭示了自监督视频基础模型在不同层次的时空信息编码特征，为模型解释和操控提供理论基础。通过几何分析和空间导航，推动模型在视频生成、运动插值等应用中的潜力开发，有助于理解深层模型的内部机制，促进视频理解技术的可解释性和可控性提升。
技术贡献
提出层级探测结合几何分析的新方法，揭示模型在不同层次的运动和物理信息编码规律。引入样条插值实现特征空间的几何导航，增强运动轨迹的平滑性和时间一致性。系统分析两个主流模型V-JEPA 2和VideoMAE-v2的内部特征组织，为未来模型设计提供指导。
新颖性
首次结合层级线性探测与几何空间分析，系统揭示视频基础模型在运动和物理理解上的层次性特征。提出样条插值的空间导航方法，优于传统线性插值，提升运动轨迹的平滑性。这些创新为理解和操控深层模型提供了新视角，填补了视频模型内部结构研究的空白。
局限性
- 模型在复杂物理场景和高动态变化中表现不足，说明深层物理推理能力有限，未来需引入更丰富的物理约束或多模态信息。
- 探测方法主要依赖线性分类器，可能无法捕获更复杂的非线性关系，未来可尝试非线性探测或深度探测机制。
- 实验仅在特定数据集上验证，泛化能力和实际应用场景中的鲁棒性仍需进一步验证。
未来方向
未来将探索多模态信息融合，增强模型对复杂物理和动态场景的理解能力。引入更复杂的空间导航技术，如非参数化的几何变换，提升运动插值的自然性。还计划扩展到更大规模、多样化的视频数据集，验证方法的普适性和实用性，推动视频理解的可解释性和操控性发展。
AI 总览摘要
近年来，深度学习模型在视频理解领域取得了突破性进展，但其内部机制仍未被充分理解。传统方法多关注模型的输出性能，缺乏对其内部时空信息编码方式的系统分析。本文通过层级探测和几何分析，深入研究了V-JEPA 2和VideoMAE-v2两个代表性自监督模型在时空信息编码中的特性。研究发现，模型在中间层最有效地编码摄像机运动信息，且这些运动特征在表示空间中呈现平滑、低维的轨迹，支持线性和样条插值的空间导航。实验还表明，模型在异常检测任务中表现中等，物理理解能力有限，反映出深层物理推理的难点。通过引入样条插值方法，本文实现了运动轨迹的平滑插值，优于传统线性插值，显著改善视频的时间连续性。这些发现不仅揭示了模型的内部结构，也为未来视频生成、运动控制和模型解释提供了理论基础。整体而言，本文推动了视频基础模型的可解释性研究，为深度学习在动态场景中的应用提供了新思路。
深度分析
研究背景
视频理解作为计算机视觉的重要方向，经历了从基于卷积神经网络的特征提取到Transformer架构的逐步演进。早期研究关注动作识别和场景理解，代表工作如C3D、I3D模型。近年来，基于自监督学习的模型如V-JEPA和VideoMAE通过大规模无标签视频预训练，显著提升了表示能力，但其内部机制仍未明晰。前人多采用可视化或简单探测方法，缺乏系统的几何和层级分析，限制了对模型内部信息组织的理解。
核心问题
尽管自监督视频模型在性能上取得突破，但其内部编码的时空信息结构尚不清楚。主要难题在于：模型在不同层次如何编码运动、物理和异常信息？这些信息在空间中的几何组织形式如何？理解这些机制对于模型的解释、操控和优化具有重要意义。目前的研究多停留在输出层或性能指标，缺乏对中间特征的深入分析。
核心创新
本文提出结合层级线性探测和几何空间分析的方法，系统揭示模型在不同层次的时空信息编码规律。引入样条插值实现特征空间的几何导航，优于传统线性方法，提升运动轨迹的平滑性。首次在视频基础模型中系统分析运动和物理理解的层次性，丰富了模型内部结构的理解框架，为未来多模态、多任务模型设计提供理论基础。
方法详解
- �� 采用预训练的V-JEPA 2和VideoMAE-v2模型，提取每层Transformer的特征。
- �� 设计三类任务：摄像机运动、直观物理、异常检测，训练线性支持向量机（SVM）分类器，评估特征的线性可分性。
- �� 通过逐层分析，绘制不同任务在模型深度上的表现曲线。
- �� 利用PCA分析单个视频片段的特征轨迹，验证其在表示空间中的平滑和几何结构。
- �� 引入样条插值方法，在特征空间中导航运动轨迹，生成平滑运动视频，比较线性与样条插值效果。
实验设计
- �� 使用CameraBench、IntPhys 2和UBnormal数据集，评估模型在运动、物理和异常任务中的表现。
- �� 通过交叉验证和超参数调优，确保结果的稳健性。
- �� 分析不同层级的任务性能变化，揭示编码层次。
- �� 利用特征轨迹的几何结构，验证运动信息的空间组织。
- �� 通过样条插值实验，评估运动轨迹的平滑性和时间一致性。
结果分析
- �� 运动任务中，模型在中间层达到ROC AUC超过90%，显示运动信息在中层最易提取。
- �� 异常检测在深层表现最佳，ROC AUC超过60%，而物理理解几乎未被编码，表明深层物理推理难度大。
- �� 特征轨迹呈现平滑低维流形，支持用样条插值生成更自然的运动轨迹，提升视频的时间连续性。
- �� 层级分析显示不同任务依赖的抽象层次不同，运动信息早期就已编码，异常检测集中在深层。
应用场景
- �� 运动控制与视频生成：利用模型的几何特性，实现运动轨迹的平滑插值，提升虚拟现实和动画的自然度。
- �� 监控与异常检测：增强模型对异常事件的敏感性，应用于安全监控、工业检测等场景。
- �� 模型解释与操控：通过空间导航，深入理解模型内部机制，推动可解释AI的发展。
局限与展望
- �� 当前模型在复杂物理环境和高动态场景中表现不足，深层物理推理能力有限，需引入多模态信息或物理约束。
- �� 探测方法主要依赖线性分类器，可能无法捕获非线性关系，未来需发展非线性或深度探测技术。
- �� 实验数据集有限，泛化能力和实际应用鲁棒性仍待验证。
通俗解读 非专业人士也能看懂
想象你在看一部电影，电影里的每一帧都像是一个静止的画面，但电影的魅力在于它们之间的关系。就像你用相机拍照时，镜头的角度和移动会告诉你场景在变。这个研究就像是在分析这些镜头变化背后的秘密。科学家们用一种叫变换器的机器学习模型，试图理解电影中摄像机的运动、物体的物理关系，以及是否出现了奇怪的事件。他们发现，模型在中间层就能捕捉到镜头的运动，就像你能通过观察画面知道相机在移动一样。而且，这些运动信息在模型内部形成了平滑的轨迹，就像一条弯弯曲曲的线，代表着摄像机的运动路径。更酷的是，他们用一种叫样条插值的方法，就像是在画一条平滑的曲线，连接这些运动轨迹的点，让视频中的运动看起来更自然、更流畅。这项工作帮助我们更好地理解机器学习模型是如何“看”视频的，也为未来让机器更聪明、更像人类地理解动态场景提供了基础。
简单解释 像给14岁少年讲一样
想象你在看一段视频，里面的每一帧都像是一个静止的图片，但你能感觉到相机在移动，物体在变化。这就像你用手机拍照时，转动镜头会让画面变得不同。科学家们用一种特别的“聪明”机器学习方法，试图理解这些变化背后的秘密。他们发现，这个方法在分析视频时，可以在中间的“脑袋”部分，快速抓住相机的运动，就像你能通过观察画面知道相机在转动一样。而且，这些运动信息在它的“思考空间”里，形成了像弯弯曲曲的线条，代表着相机的运动轨迹。更厉害的是，他们用一种叫样条插值的技巧，就像在画一条平滑的线，把运动的点连接起来，让视频看起来更自然、更流畅。这项研究让我们知道，机器学习可以像人一样理解视频中的运动和变化，也帮助未来让机器更聪明地看懂动态世界。
原文摘要
Self-supervised video foundation models learn rich spatiotemporal representations, yet it remains unclear what visual concepts these representations encode, where they emerge across transformer layers, and how they are geometrically organized. In this work, we tackle these three questions through a systematic layer-wise analysis of V-JEPA 2 and VideoMAE-v2. We leverage lightweight probes trained to discover three temporally grounded properties: (i) camera motion understanding, (ii) intuitive physics, and (iii) anomaly detection. Both models encode camera motion, with best results ($>90$ ROC AUC) emerging at 60-70% of network depth, and achieve moderate anomaly detection performance ($>60$ ROC AUC), but remain near chance on intuitive-physics tasks, suggesting a limited encoding of deeper physical reasoning. Beyond classification, we find that temporal features from individual videos form smooth low-dimensional trajectories in representation space, suggesting that camera motion is not only linearly decodable but also geometrically organized. Based on these results, we apply geometry-aware spline-based steering in the model's latent representations to interpolate camera motion, yielding steered videos with smoother trajectories and more coherent temporal progression than linear interpolation.