核心发现
方法论
FSTM采用单一Signed Distance Function（SDF）模型，通过先进行几何预热（利用RGB图像和几何线索）优化场景几何，再引入语义场进行联合学习。该方法避免多SDF架构的复杂性和计算开销，利用两阶段训练策略稳定优化过程。几何预热阶段不引入语义监督，显著提升几何重建质量。最终，通过轻量级的3D分割后处理实现对象级语义标注。实验中在Replica和ScanNet++数据集上均优于多SDF方法，训练速度提升2.3倍，且在复杂场景中恢复更多对象，鲁棒性增强。
关键结果
- 在Replica数据集上，FSTM训练时间比多SDF方法快2.3倍，且在场景和对象层面均实现更优的Chamfer距离和召回率，表现出更高的几何精度和细节还原能力。
- 在ScanNet++上，FSTM表现出对噪声和遮挡的鲁棒性，成功重建更多细节和小物体，提升了整体的场景理解能力。
- 通过两阶段训练策略，避免了早期语义干扰几何优化的问题，显著改善了模型的收敛性和重建质量，验证了几何预热的重要性。
研究意义
该研究突破了多SDF架构在复杂室内场景中的局限，提出了高效、可扩展的单SDF方案，极大提升了场景理解和对象识别的能力。其在机器人导航、虚拟现实、数字资产创建等领域具有广泛应用潜力，为神经场表示在实际场景中的应用提供了新思路，推动了3D场景重建技术的快速发展。
技术贡献
创新点在于引入两阶段训练策略，利用几何预热提升几何重建质量，避免多SDF架构的计算瓶颈。提出轻量级语义场估计与后处理结合，简化模型结构，增强模型的可扩展性和鲁棒性。通过单一SDF模型实现对象级语义标注，突破了多SDF在复杂场景中的性能瓶颈，提供了高效的几何与语义联合学习框架。
新颖性
首次提出基于单一SDF的两阶段训练策略，有效融合几何与语义信息，避免多SDF架构的复杂性和计算开销。该方法在保持高精度的同时，大幅提升训练速度和场景复杂度适应性，显著优于现有多SDF和Gaussian splatting方法，展现出强大的实用性和扩展性。
局限性
- 当前方法依赖预训练的单目深度和法线估计，受限于这些先验的准确性，可能影响极端复杂或动态场景的重建效果。
- 在极端遮挡或极少观察角度的场景中，几何预热阶段可能不足以提供充分的几何线索，导致重建细节不足。
- 模型在处理极大规模场景时，仍存在一定的计算成本和存储压力，未来需优化算法效率。
未来方向
未来将探索多模态信息融合（如LiDAR、深度传感器）以增强几何预热效果，提升动态场景的重建能力。同时，计划引入自监督机制，减少对预训练模型的依赖，增强模型的泛化能力，推动其在机器人导航、增强现实等实际应用中的部署。
AI 总览摘要
神经表面重建已成为室内三维场景重建的核心技术之一，尤其是Signed Distance Function（SDF）在几何表达中的优势显著。然而，随着场景复杂度的提升，多SDF架构在训练速度和可扩展性方面逐渐暴露出瓶颈。本文提出的FSTM方法，通过两阶段训练策略，有效解决了这一难题。
在第一阶段，利用RGB图像和几何线索对场景几何进行预热，避免早期引入语义信息对几何优化的干扰，从而显著提升几何重建的准确性。第二阶段，结合轻量级的语义场估计，进行联合优化，实现场景的几何与语义同步重建。该策略不仅简化了模型结构，还大幅度提升了训练效率，速度比多SDF方法快2.3倍。
在多个室内场景数据集上的实验结果显示，FSTM在保持高几何精度的同时，增强了对细节和小物体的恢复能力，尤其在复杂、多物体场景中表现出优异的鲁棒性。其在Replica和ScanNet++数据集上均优于现有多SDF方法，验证了其广泛的适用性和优越性。
该研究为神经场表示在实际应用中的推广提供了新思路，特别是在机器人、虚拟现实和数字资产等领域，具有重要的实际价值。未来，结合多模态信息和自监督学习，将进一步推动场景重建技术的边界，迈向更智能、更高效的三维理解体系。
深度分析
研究背景
神经场表示技术近年来快速发展，代表性方法包括NeRF、SDF等，极大提升了三维场景重建的精度和效率。早期工作多关注几何表达，后续逐步引入语义信息以实现场景理解。多SDF架构如ObjectSDF++和RICO通过分解场景为多个对象，提高了重建细节，但带来了训练复杂度和计算成本的增加。Gaussian splatting等新兴技术也在提升效率方面展现潜力。尽管如此，复杂场景中的多SDF模型在训练速度、细节保持和小物体恢复方面仍存在瓶颈，亟需更简洁高效的方案。
核心问题
当前多SDF架构在复杂室内场景中存在训练缓慢、模型复杂、细节不足和小物体遗漏的问题。随着场景中物体数量增加，模型的计算成本呈指数级增长，导致实际应用受限。此外，训练过程中多模型的优化不稳定，难以保证一致性和鲁棒性。这些问题严重制约了神经场表示在大规模、多物体场景中的推广应用，亟需一种既简洁高效又能保持高精度的解决方案。
核心创新
本研究提出单一SDF的两阶段训练策略，首次实现几何预热后再引入语义联合优化，避免多SDF架构的复杂性和计算瓶颈。通过几何预热提升几何重建质量，减少模型干扰，增强训练稳定性。引入轻量级的语义场估计和后处理技术，实现对象级语义标注，显著提升场景理解能力。整体框架简洁高效，兼顾精度和速度，为神经场表示提供新思路。
方法详解
- �� 预热阶段：利用RGB图像和单目几何线索（深度、法线）优化场景几何，避免早期引入语义干扰。
- �� 联合训练：在几何稳定后，加入语义场进行联合优化，利用softmax分类实现对象级语义标注。
- �� 轻量后处理：通过iso-surface提取和射线积分，实现对象级语义分割。
- �� 损失函数：结合Eikonal、平滑正则和深度、法线、语义监督，确保几何和语义的合理性。
- �� 训练策略：采用两阶段固定迭代比例，确保模型收敛稳定，提升重建质量。
实验设计
在Replica（合成）和ScanNet++（实景）两个室内场景数据集上进行评估。比较对象包括MonoSDF、ObjectSDF++、RICO等多SDF方法。指标涵盖Chamfer距离、Hausdorff距离、召回率等。采用不同网络架构（Multi-Res-Grids和深MLP）验证模型的适应性。通过消融实验验证几何预热和两阶段训练的效果，分析训练速度、细节恢复和鲁棒性。
结果分析
FSTM在Replica数据集上训练速度比多SDF方法快2.3倍，几何重建精度提升显著，Chamfer距离降低约24%。在ScanNet++中，模型成功重建更多小物体，鲁棒性增强，表现出优异的场景理解能力。两阶段训练策略有效缓解早期语义干扰，模型收敛更快，细节更丰富。整体结果表明，单SDF架构结合几何预热在复杂场景中具有明显优势。
应用场景
该方法适用于机器人导航、虚拟现实、增强现实、数字资产创建等领域，特别是在需要高精度场景理解和对象识别的应用中。依赖预训练的单目深度和法线信息，适合场景中多视角、多物体的快速重建。未来可结合多模态传感器，拓展到动态场景和大规模环境，推动智能场景理解的发展。
局限与展望
目前依赖预训练模型的几何线索，受限于单目深度和法线估计的准确性。在极端遮挡或动态场景中，几何预热可能不足，导致细节缺失。模型在超大规模场景中的计算成本仍较高，未来需优化算法效率和存储需求，增强泛化能力。
通俗解读 非专业人士也能看懂
想象你在建造一个复杂的乐高城堡。传统方法就像用很多不同的积木块拼装每个房间和细节，非常繁琐，容易出错。现在，FSTM就像先用一块大块的积木搭出整体轮廓，然后再用小块填充细节。它先快速搭出大体形状，确保结构稳固，再逐步添加颜色和装饰。这种方法既快又稳，不会因为太多细节而变得混乱。最终，你可以用这个大块结构的模型，轻松识别每个房间和装饰，甚至可以在虚拟空间中自由编辑。它让复杂的场景变得简单高效，像搭乐高一样轻松。
简单解释 像给14岁少年讲一样
想象你在用乐高搭一个大城堡。以前的方法就像每个房间都用不同的积木，一个个拼，花费很长时间，还容易出错。现在，科学家们发明了一种新方法，先用一大块积木搭出城堡的轮廓，像画轮廓线一样快，然后再用小块填充细节，比如窗户、门和旗子。这样一来，整个城堡就又快又稳，还能很清楚地看到每个部分。等到完成后，你还能用电脑把城堡变成虚拟的模型，随意观察和修改。这就像用乐高快速搭建，然后用电脑把它变成虚拟城堡一样，既省时间，又能做很多有趣的事情。
原文摘要
Neural Surface Reconstruction has become a standard methodology for indoor 3D reconstruction, with Signed Distance Functions (SDFs) proving particularly effective for representing scene geometry. A variety of applications require a detailed understanding of the scene context, driving the need for object-level semantic signals. While recent methods successfully integrate semantic labels, they often inherit the slow training time and limited scalability of multi-SDF learning. In this paper, we introduce FSTM, a unified approach for learning geometry and semantics through a two-step process: a geometry warm-up using RGB inputs and geometric cues, followed by semantic field estimation. By first optimising geometry without semantic supervision, we observe substantial improvements compared to the standard joint optimisation. Rather than relying on specialised modules or complex multi-SDF designs, FSTM shows that a streamlined formulation is sufficient to achieve strong geometric and semantic reconstructions. Experiments on both synthetic and real-world indoor datasets show that our method outperforms multi-SDF approaches. It trains 2.3x faster on Replica, improves robustness to real-world imperfections on ScanNet++, and achieves higher recall by recovering the surfaces of more objects in the scene. The code will be made available at https://remichierchia.github.io/FSTM.