核心发现
方法论
作者将VGGT编码器的潜在空间定义为四个零均值超球面之积，提出基于黎曼流匹配(RFM)的条件生成模型，利用几何流在此流形上进行训练。模型通过学习条件速度场，实现从未标定多视图的部分观察中生成目标视点的潜在表示。训练中采用特定的几何映射和投影操作，确保生成的潜在向量在合理的几何流形内。结合冻结的解码头，重建点云、深度图和RGB图像，完成完整场景的生成。
关键结果
- 在RealEstate10K、ScanNet++和ETH3D数据集上，提出方法在深度预测和RGB生成指标上均优于DepthSplat和Gen3R，深度RMSE降低至0.191（ScanNet++高覆盖），RGB PSNR提升至30.72 dB，FID指标显著改善，验证了潜在空间黎曼流匹配的有效性。
- 多视角条件下，模型在低视角重建中的表现优于基线，尤其在稀疏视角（1-2视图）场景中，生成的几何结构更为合理，保持了强几何先验。
- 消融实验显示，采用黎曼流匹配比欧几里得流匹配避免了模式崩溃，确保潜在空间的几何一致性，提升了生成的多样性和稳定性。
研究意义
该研究突破了几何基础模型在生成任务中的应用瓶颈，首次在潜在空间引入黎曼流匹配，充分利用VGGT的几何先验，实现高质量、几何一致的3D场景生成。此方法为未来基于预训练几何模型的生成框架提供了新思路，有望推动机器人、AR/VR和自动驾驶等领域的场景理解与重建技术发展。
技术贡献
核心技术在于将潜在空间定义为高维超球面乘积流形，避免欧几里得空间的模式崩溃问题。提出条件黎曼流匹配算法，结合几何映射和投影操作，确保生成潜在向量在合理的几何流形内。模型架构采用多尺度Transformer，融合条件信息，支持多视角稀疏输入的场景生成。此方法在保持几何先验的同时，实现了端到端的概率建模，突破了传统的几何重建限制。
新颖性
首次将黎曼流匹配引入VGGT潜在空间，充分利用其超球面结构进行概率生成，避免传统欧几里得流匹配的模式崩溃问题。不同于现有的基于欧几里得空间的潜在生成方法，此研究在几何流形上实现连续性和一致性，提供了全新的理论框架和实践方案。
局限性
- 模型训练依赖大量预训练的几何先验，泛化能力在极端场景或复杂场景中仍有待验证。
- 推理过程中计算成本较高（每次生成约0.88秒），在实时应用中存在挑战。
- 目前仅在静态场景中验证，动态场景或时序建模尚未涉及。
未来方向
未来将探索动态场景的潜在空间建模，提升模型的实时性和鲁棒性，结合多模态信息增强几何推理能力。同时，考虑引入更高效的黎曼流数值解算器，降低计算成本，拓展到更复杂的场景和应用中。
AI 总览摘要
随着3D场景理解需求的不断增长，现有的几何先验模型如VGGT在场景推断中展现出强大能力，但在生成方面仍受限于其纯判别式的结构，难以生成多样且合理的场景。本文提出一种基于黎曼流匹配的潜在空间生成框架，充分利用VGGT编码器中高维超球面结构的几何信息。
该方法将潜在空间定义为四个零均值超球面之积，通过条件黎曼流匹配学习潜在向量的连续变换，支持从稀疏、多视角未标定的输入中生成完整的3D场景。模型采用多尺度Transformer架构，结合几何映射和投影操作，确保生成的潜在表示在合理的几何流形内，避免传统欧几里得空间中的模式崩溃。
在RealEstate10K、ScanNet++和ETH3D等多个公开数据集上，实验结果显示该方法在深度预测和RGB重建指标上均优于现有的基线方法，尤其在低视角、多视角稀疏场景中表现出更强的几何一致性和多样性。这证明了潜在空间黎曼流匹配在几何基础模型中的应用潜力，为未来3D场景生成提供了新的技术路径。
该研究不仅在理论上提出了在几何流形上进行概率建模的新框架，也在实践中实现了高质量、多样化的场景生成。其创新点在于将黎曼几何引入潜在空间流匹配，突破了欧几里得空间的局限，为机器人、AR/VR和自动驾驶等行业的场景理解与重建带来了深远影响。未来，模型有望在动态场景、多模态融合和实时应用中展现更大潜能。
深度分析
研究背景
近年来，3D场景理解技术经历了从传统的几何重建到深度学习的飞跃。NeRF [41]和Gaussian Splatting [25]等方法通过可微渲染实现高质量场景重建，但需昂贵的逐场优化，限制了其应用范围。为解决这一问题，基于几何先验的基础模型如VGGT [60]应运而生，结合多视角图像实现端到端的几何推断，极大提升了效率和鲁棒性。然而，这些模型在生成任务中仍面临挑战，尤其是在稀疏、多视角未标定场景中，如何有效利用其几何先验进行场景生成，仍是研究热点。
核心问题
现有几何基础模型多为判别式，难以实现多样化场景生成，且在稀疏、多视角条件下容易失去几何一致性。传统生成方法多依赖欧几里得空间，导致模式崩溃和多模态不稳定。如何在保持几何先验的基础上，设计一种稳定、多样的生成机制，成为核心难题。此外，如何在未标定、多视角稀疏输入条件下，生成符合真实场景的完整3D模型，也是亟待解决的问题。
核心创新
本研究创新点主要包括：1）将VGGT潜在空间定义为四个超球面乘积流形，充分利用其几何结构；2）提出条件黎曼流匹配算法，支持在复杂几何流形上进行连续概率建模；3）结合多尺度Transformer架构，有效融合多视角信息，支持稀疏、多视角场景生成。这些创新解决了欧几里得空间流匹配的模式崩溃问题，增强了生成的几何一致性和多样性。
方法详解
- �� 将VGGT编码器的潜在空间定义为四个零均值超球面，确保潜在向量在合理的几何流形内。
- �� 设计条件黎曼流匹配模型，学习潜在空间中从噪声到目标场景的连续变换，利用geodesic距离和映射保证几何一致性。
- �� 采用多尺度Transformer架构，融合观察视图和目标视点信息，通过条件速度场引导潜在向量的生成。
- �� 训练过程中，利用几何映射和投影操作，确保潜在向量在超球面上，避免模式崩溃。
- �� 结合冻结的解码头，重建点云、深度图和RGB图像，实现完整场景生成。
实验设计
- �� 训练数据包括RealEstate10K、ScanNet++和ETH3D，涵盖室内外多场景，使用150帧采样。
- �� 评估指标包括深度RMSE、RGB PSNR、SSIM、LPIPS和FID，比较DepthSplat、Gen3R等基线。
- �� 采用不同视角数（1-4）进行稀疏视角重建，验证模型在低视角和高覆盖场景中的表现。
- �� 进行消融实验，验证黎曼流匹配的优势，调整潜在空间的几何映射参数。
结果分析
- �� 在ScanNet++深度重建中，RMSE从基线0.461降低到0.191，RGB PSNR提升至30.72dB，FID指标改善显著，验证了模型在几何和外观重建中的优越性。
- �� 在低视角场景中，模型保持较高的几何一致性，生成的场景细节丰富，结构合理。
- �� 消融实验显示，采用黎曼流匹配比欧几里得流匹配避免了模式崩溃，提高了多样性和稳定性。
应用场景
- �� 适用于机器人自主导航、虚拟现实内容生成、自动驾驶场景重建等领域，支持未标定、多视角稀疏输入。
- �� 未来可结合动态场景建模、多模态信息（如LiDAR、声音）增强场景理解能力，推动智能系统的自主感知。
局限与展望
- �� 训练依赖大量预训练模型，泛化能力在极端复杂场景中仍有限。
- �� 推理计算较高，实时应用存在挑战。
- �� 当前仅支持静态场景，动态场景和时序建模尚未实现。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，手里只有几样原料（图片），但你想做出一盘完整的菜（3D场景）。传统方法就像逐一尝试每个原料的搭配，费时费力，而且不一定成功。而这项新技术像是有一位厨师（模型），他提前知道各种原料的搭配规则（几何先验），只需少量原料（稀疏视角），就能快速组合出一盘色香味俱佳的菜（完整场景）。它通过学习原料的搭配习惯（潜在空间的几何结构），在厨房（模型）里用一种特殊的“魔法”把原料变成完整的菜肴，不仅快，还很有创意。这就像你只用几块拼图，就能拼出一幅完整的画（场景），而且画得非常逼真、合理。
简单解释 像给14岁少年讲一样
想象你在玩拼图游戏，但只剩下一两块碎片。你想知道完整的图片是什么样子。以前的方法就像拼图时试图把每一块都放到正确位置，但有时候会卡住或者拼错。现在，这个新方法像是有个聪明的朋友，他知道图片的整体轮廓和颜色，能帮你用几块碎片拼出一幅完整的画。他用一种特别的数学技巧（黎曼流匹配），确保每一块都放得既漂亮又合理。这个朋友还会根据你给的几块碎片，预测出其他缺失的部分，让你看到一幅完整的画。这样，即使只看到少量碎片，也能拼出一幅逼真的场景，就像魔法一样！
原文摘要
Geometric foundation models, such as the Visual Geometry Grounded Transformer (VGGT), provide strong 3D priors from unposed images. However, such models operate purely in a feed-forward, deterministic regime, \ie~they cannot generate plausible geometry beyond what the input views directly support. Generative models for 3D scenes, on the other hand, must rely on strong geometric priors to produce coherent outputs from sparse inputs. We bridge these two paradigms by performing flow matching directly in VGGT's latent space, leveraging its learned 3D priors without committing to any explicit downstream representation such as Gaussians, meshes, or video-VAE latents. This requires respecting the latent geometry: VGGT tokens occupy a product of high-dimensional hyperspheres on which standard Euclidean flow matching fails. We address this with a Riemannian Flow Matching framework defined on a product manifold of four hyperspheres, aligned with VGGT's multi-scale encoder, which keeps generated tokens on the valid data manifold required by the frozen decoding heads. On RealEstate10K, ScanNet++ and ETH3D, our method achieves strong performance against recent scene generation baselines in both per-view appearance and aggregated 3D geometry, establishing latent-space flow matching on geometric foundation models as a viable paradigm for 3D generation. The project page can be found $\href{https://lisaweijler.github.io/geometry-grounded-rfm/}{\text{here}}$.