核心发现
方法论
GeCo通过融合残差运动和深度先验，生成可解释的稠密一致性图，检测静态场景中的几何变形和遮挡不一致。该方法利用光流、深度和相机位姿估计，通过运动线索和结构线索来测量几何一致性。
关键结果
- 在WarpBench上，GeCo的运动线索在CO3D-Warp上达到64.90%的AP，显著优于MEt3R的16.26%。
- 在OccluBench上，融合线索的AP达到83.48%，优于结构线索的62.36%。
- GeCo在真实视频上的噪声水平低于生成视频，验证其鲁棒性。
研究意义
GeCo为视频生成中的几何一致性评估提供了新的视角，解决了现有方法无法同时检测几何变形和遮挡不一致的问题。它不仅提高了模型的评估能力，还为生成过程中的几何一致性优化提供了指导。
技术贡献
GeCo引入了一种可微分的几何一致性度量，结合运动和结构线索，提供了一个统一的错误映射。这一方法在不需要训练的情况下，能在推理时优化几何一致性。
新颖性
GeCo首次实现了对几何变形和遮挡不一致的联合检测，突破了现有方法只能检测单一类型伪影的局限。
局限性
- GeCo依赖于光流和深度估计的准确性，在估计误差较大时可能影响结果。
- 在复杂动态场景中，GeCo的性能可能下降。
未来方向
未来工作可以探索GeCo在动态场景中的应用，以及结合更多的几何信息来提高其鲁棒性和准确性。
AI 总览摘要
视频生成模型在生成逼真视频的同时，常常违反多视图几何，导致非刚性变形和遮挡不一致。现有的评估方法难以同时捕捉这两种伪影。GeCo通过融合残差运动和深度先验，提供了一种几何一致性度量，生成可解释的稠密一致性图，揭示这些伪影。实验表明，GeCo在WarpBench和OccluBench上表现优异，能够准确定位几何变形和遮挡不一致。GeCo不仅作为评估工具，还能在推理时作为指导损失，减少生成过程中的几何伪影。未来工作将探索其在动态场景中的应用。
深度分析
研究背景
视频生成技术近年来取得了显著进展，能够生成逼真的视频。然而，这些模型在生成静态场景时，常常会出现几何变形和遮挡不一致的问题。这些伪影不仅影响视频的视觉质量，还对视频世界模型和3D资产创建等下游应用造成困扰。
核心问题
现有的评估方法难以同时检测几何变形和遮挡不一致。一般的视频基准测试缺乏明确的3D几何评估，而基于稀疏点匹配的方法在遮挡区域表现不佳。
核心创新
GeCo通过融合运动和深度线索，提供了一个统一的几何一致性度量。它利用光流和深度重投影误差来检测几何变形和遮挡不一致，生成可解释的稠密一致性图。
方法详解
- �� 使用光流估计和深度重投影来计算运动和结构一致性。• 通过几何基础模型预测深度图和相机位姿。• 将运动和结构线索融合为统一的误差图。• 在推理时作为指导损失，优化生成过程中的几何一致性。
实验设计
实验在WarpBench和OccluBench上进行，分别用于评估几何变形和遮挡不一致。WarpBench通过注入薄板样条变形来模拟非刚性变形，OccluBench通过控制遮挡不一致来评估伪影定位能力。
结果分析
在WarpBench上，GeCo的运动线索在CO3D-Warp上达到64.90%的AP。在OccluBench上，融合线索的AP达到83.48%。在真实视频上的噪声水平低于生成视频，验证了GeCo的鲁棒性。
应用场景
GeCo可用于视频生成模型的评估和优化，特别是在需要几何一致性的应用中，如视频世界模型和3D资产创建。
局限与展望
GeCo依赖于光流和深度估计的准确性，可能在复杂动态场景中表现不佳。未来可以结合更多几何信息来提高其鲁棒性。
通俗解读 非专业人士也能看懂
想象你在看一部电影，电影中的物体有时会变形或消失又出现。GeCo就像一个电影评论家，专门挑出这些不自然的地方。它通过分析物体的运动和深度，来判断电影是否符合现实世界的规则。就像你用放大镜观察细节，GeCo可以帮助电影制作者修复这些问题，让电影看起来更真实。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，游戏里的角色有时候会变形，或者突然消失又出现。GeCo就像一个超级侦探，能发现这些奇怪的地方。它通过分析角色的动作和位置，来判断游戏是否符合现实世界的规则。这样，游戏开发者就能修复这些问题，让游戏变得更好玩！
术语表
Geometric Consistency (几何一致性)
指视频生成中物体在不同视角下保持一致的能力。
用于评估视频生成模型的几何变形和遮挡不一致。
Optical Flow (光流)
表示图像中像素的运动矢量场，反映物体的运动。
用于计算运动一致性。
Depth Reprojection (深度重投影)
将深度信息从一个视角转换到另一个视角的过程。
用于计算结构一致性。
Occlusion Inconsistency (遮挡不一致)
指物体在遮挡后重新出现时的变化或错误。
GeCo用于检测这种伪影。
Residual Motion (残差运动)
光流与相机引起的刚性运动之间的差异。
用于评估运动一致性。
开放问题 这项研究留下的未解疑问
- 1 如何在动态场景中提高GeCo的鲁棒性？现有方法在复杂运动下表现不佳，需要结合更多几何信息。
- 2 如何减少GeCo对光流和深度估计精度的依赖？
- 3 在多视角下，如何更好地检测遮挡不一致？
应用场景
近期应用
视频生成评估
GeCo可用于评估视频生成模型的几何一致性，帮助开发者识别和修复伪影。
远期愿景
3D资产创建
通过提高视频生成的几何一致性，GeCo可以促进更真实的3D资产创建。
原文摘要
We introduce GeCo, a geometry-grounded metric for jointly detecting geometric deformation and occlusion-inconsistency artifacts in static scenes. By fusing residual motion and depth priors, GeCo produces interpretable, dense consistency maps that reveal these artifacts. We use GeCo to systematically benchmark recent video generation models, uncovering common failure modes, and further employ it as a training-free guidance loss to reduce deformation artifacts during video generation.