StructureGS: Structure-aware Gaussian Splatting for Articulated Object Reconstruction

TL;DR

StructureGS通过结构引导实现多关节物体的高质量重建,利用OBB约束几何与连接关系。

cs.GR 🔴 高级 2026-07-29 78 次浏览
Gahye Lee Gyoonseo Kim Wonjong Jang Jooeun Son Seungyong Lee
3D重建 结构感知 高精度 关节物体 Gaussian Splatting

核心发现

方法论

该方法结合3D高斯散点(Gaussian Splatting)与结构感知引导,利用有向包围盒(OBB)实现空间一致性与连接性。通过定义每个部件的OBB,设计了部件拟合损失和接触损失,确保几何紧凑和物理合理的接触关系。优化过程中,结合多视角RGB图像,逐步调整高斯点集与OBB参数,实现部件的清晰分割与运动估计。该框架在多视角、多部件场景中表现出优越的重建质量,特别在边界清晰和关节运动准确性方面优于现有方法。

关键结果

  • 在PARIS和DTA数据集上,结构引导的模型在几何误差(CD)和运动估计(角度误差)方面分别比ScrewSplat提升约50%以上,达到CD值1.558(全景)和角度误差0.088°,显著优于无结构引导的模型。
  • 在稀疏视角条件下,模型仍保持较高的重建精度,CD误差仅为1.957,运动角度误差0.701°,验证了其鲁棒性。
  • 引入OBB的结构约束显著改善部件边界清晰度,减少几何模糊和连接错误,提升了关节运动的物理合理性。

研究意义

该研究突破了基于光度监督的关节物体重建的局限,通过引入结构感知机制,有效分离几何与运动参数,提升模型的解释能力和重建质量。这不仅推动了虚拟现实、机器人模拟等应用的发展,也为复杂多部件对象的自动化建模提供了新思路,解决了边界模糊和连接不合理的难题,为未来多关节物体的高精度重建奠定基础。

技术贡献

创新点在于引入基于OBB的结构感知损失,结合高斯散点模型,实现空间一致性和连接性约束。提出的部件拟合和接触损失,利用SAT(Separating Axis Theorem)高效计算部件间距离,确保物理合理的接触关系。优化流程中结合多状态变换参数,支持多视角、多状态的联合优化,显著提升重建精度与鲁棒性。该框架在保持高质量渲染的同时,增强了几何边界的清晰度和运动的物理合理性。

新颖性

本研究首次将OBB结构引入高斯散点基础的多关节物体重建中,结合结构损失实现几何紧凑和连接关系的显式约束。区别于传统仅依赖光度损失的方法,结构引导显著改善了边界模糊和几何泄漏问题,提供了更为精确的部件分割与运动估计方案。这一创新为多关节对象的高质量重建开辟了新路径。

局限性

  • 当前方法对OBB的初始化依赖较强,若初始估计偏差较大,可能影响最终效果。
  • 模型在极端复杂或非盒状几何的对象上表现有限,未来需引入更灵活的结构表示。
  • 计算成本较高,尤其在多部件、多视角场景中,优化时间较长,需进一步加速算法。

未来方向

未来将探索更鲁棒的OBB初始化策略,结合学习型结构表示以适应复杂几何。同时,计划引入动态场景建模和实时优化,拓展至更大规模、多动作场景,推动工业级应用落地。

AI 总览摘要

多关节物体的高质量重建一直是计算机视觉和机器人学中的核心难题。现有方法多依赖光度监督,难以有效分离几何、外观与运动参数,导致边界模糊和连接不合理。本文提出了StructureGS,一种结合结构感知引导的3D高斯散点重建框架。通过引入有向包围盒(OBB)作为结构约束,设计了部件拟合和接触损失,确保几何紧凑且物理合理的连接关系。该方法利用多视角RGB图像,优化部件的几何、运动参数,实现了边界清晰、运动估计准确的重建效果。实验结果显示,在PARIS和DTA数据集上,结构引导模型明显优于ScrewSplat,几何误差降低50%以上,运动角度误差减半,鲁棒性也得到增强。该技术不仅提升了多关节对象的重建质量,也为虚拟现实、机器人模拟等应用提供了新工具。未来,作者计划结合学习型结构表示,支持更复杂场景的实时重建,推动工业应用落地。整体而言,StructureGS在保持高质量渲染的同时,显著改善了几何边界和运动合理性,为多关节物体的自动化建模树立了新标杆。

深度分析

研究背景

多关节物体在工业、虚拟现实中应用广泛,早期多采用网格或点云表示,但受限于复杂结构和运动变化。近年来,神经辐射场(NeRF)和高斯散点(Gaussian Splatting)成为主流,提升了渲染质量。代表性工作如PARIS、ArticulatedGS和ScrewSplat,分别在多视角重建、结构发现和运动建模方面取得突破。然而,这些方法多依赖光度损失,难以实现清晰边界和物理合理的连接,特别在复杂场景中表现不足。

核心问题

现有技术在多关节物体重建中面临几何模糊、边界不清和运动估计不准确的问题。光度监督难以区分几何变化与运动引起的外观变化,导致几何泄漏和连接错误。此外,缺乏显式结构约束限制,难以保证部件的空间紧凑和物理连接,影响重建的真实性和可用性。

核心创新

本研究提出将OBB引入高斯散点模型,显式定义每个部件的空间边界和接触关系。设计了部件拟合损失确保几何紧凑,接触损失利用SAT算法保证物理连接。结合多状态变换参数,支持多视角、多运动状态的联合优化。不同于传统光度驱动方法,该框架引入结构感知机制,有效分离几何与运动参数,提升重建质量和物理合理性。

方法详解

  • �� 输入多视角RGB图像和相机参数,定义每个部件的高斯点集和OBB。
  • �� 利用OBB参数,设计部件拟合损失,确保几何紧凑。
  • �� 通过SAT算法计算OBB间距离,设计接触损失,保证物理连接。
  • �� 结合多状态变换参数,优化每个部件的运动。
  • �� 使用多视角图像、结构损失和光度损失共同训练模型,逐步调整高斯点和OBB参数,达到清晰边界和合理连接。

实验设计

在PARIS和DTA数据集上,采用多视角RGB图像,比较与ScrewSplat等基线。指标包括几何误差(CD)、运动角度误差和渲染质量(PSNR、SSIM)。通过消融实验验证结构引导的贡献。参数设置包括10,000个高斯点、OBB初始化采用VGGT,优化迭代1万次,验证鲁棒性和效率。

结果分析

结构引导模型在几何误差上比ScrewSplat降低约50%,在运动角度误差方面也显著优于对比方法。在稀疏视角条件下,误差仅为1.957,运动估计保持良好。边界清晰,连接合理,运动估计准确,验证了结构引导的有效性。

原文摘要

Reconstructing articulated objects with multiple movable parts is essential for understanding object structure and enabling physical interaction. However, this reconstruction task poses significant challenges due to the entanglement of geometry, appearance, and motion parameters during optimization. Existing methods rely primarily on photometric supervision, which commonly fails to disentangle these interdependent components, resulting in poor part decomposition with blurred boundaries and geometric artifacts. To address this limitation, we introduce StructureGS, a reconstruction framework for articulated objects that integrates structure-aware guidance into 3D Gaussian Splatting. Our approach leverages oriented bounding boxes of object parts to enforce two key structural properties: spatial coherence, which constrains each part's geometry to remain compact and spatially coherent within its designated region, and structural connectivity, which enforces physically plausible contact relationships between adjacent parts. These properties are realized through structure-aware losses that inject explicit structural constraints into the optimization process. Extensive experiments demonstrate that our method achieves state-of-the-art performance in articulated object reconstruction, producing high-quality results with well-defined part geometries.

cs.GR cs.CV cs.RO