PUF: Plug-and-Play Uncertainty-Aware Fusion for Online 3D Scene Graph Generation

TL;DR

PUF框架在3DSSG上提升关系召回率18.1%,保持实时性。

cs.CV 🔴 高级 2026-07-08 4 次浏览
Yi Yang Myrna Castillo Bodo Rosenhahn Michael Ying Yang
3D场景图 不确定性 融合 实时 无训练

核心发现

方法论

PUF框架通过将2D观测增量融合为3D场景图,采用不确定性感知的概率关联方法。核心组件包括Dirichlet证据累积和可选的类条件先验,支持3D高斯和体素后端。

关键结果

  • 在3DSSG基准上,PUF-Gaussian方法的关系召回率达到46.0%,比FROSS提高18.1个百分点,且每帧处理仅需15毫秒。
  • 在ReplicaSSG上,PUF-Gaussian在无关系先验的情况下,仍超越FROSS,显示出框架本身的可靠性。
  • PUF-Voxel变体在两种基准上均表现出一致的改进,表明框架的表示无关性。

研究意义

PUF框架通过引入不确定性感知的融合方法,显著提升了在线3D场景理解的准确性和实时性。它解决了现有方法中忽视观测、模型和表示不确定性的问题,为学术界和工业界提供了一种新的3D场景图生成范式。

技术贡献

PUF框架在技术上通过概率关联替代硬性决策,保留2D模型的不确定性并将其传播到3D重建中。它引入了Dirichlet证据累积机制,支持多种3D表示,提供了新的工程可能性。

新颖性

PUF是首个在3D场景图生成中引入不确定性感知的框架,与现有方法相比,提供了更为灵活和准确的融合机制。

局限性

  • 在缺乏训练数据的场景中,类条件先验的效果有限,可能导致关系预测不准确。
  • 对于极端稀疏或噪声较大的数据,概率关联可能不够稳健。

未来方向

未来工作可探索更复杂的3D表示和更高效的不确定性建模方法,以进一步提升框架的适用性和性能。

AI 总览摘要

当前的在线3D场景图生成方法通常忽视了观测、模型和表示的不确定性,从而限制了其在复杂场景中的应用。为此,研究者提出了PUF框架,通过引入不确定性感知的融合方法,显著提升了在线3D场景理解的准确性和实时性。

PUF框架的核心在于将2D观测增量融合为3D场景图,采用不确定性感知的概率关联方法。其关键组件包括Dirichlet证据累积和可选的类条件先验,支持3D高斯和体素后端。这种方法不仅保留了2D模型的不确定性,还通过概率关联替代了传统的硬性决策。

实验结果表明,PUF框架在3DSSG和ReplicaSSG基准上均显著超越现有方法,尤其是在3DSSG上,PUF-Gaussian方法的关系召回率达到46.0%,比FROSS提高18.1个百分点,且每帧处理仅需15毫秒。

深度解读

原文摘要

Online 3D scene graph generation builds a persistent, structured representation of a scene by incrementally fusing 2D observations into a global 3D graph. Existing online methods treat this fusion as a fully deterministic pipeline, where we identify three sources of uncertainty that are overlooked: observation, 2D model, and 3D representation. We propose PUF: a Plug-and-play, Uncertainty-aware, and training-free Fusion framework. Scene graph node association is reformulated as a probabilistic likelihood over semantic and spatial factors, replacing binary accept/reject gates. Dirichlet evidence accumulation distributes class and relationship evidence across plausible candidates proportional to association likelihood. An optional class-conditional prior completes edges for sparsely or never co-observed object pairs. We instantiate PUF with both a 3D Gaussian and a 3D voxel backend and observe consistent improvements, demonstrating its ability to generalize across different representations. Experiments on the 3DSSG and ReplicaSSG benchmarks show that our method substantially outperforms existing approaches while maintaining real-time latency. These results establish uncertainty-aware fusion as a principled and effective paradigm for online 3D scene understanding. The source code is publicly available at https://github.com/yyyyangyi/PUF.

cs.CV