核心发现
方法论
提出一种渐进式框架On-the-Fly GS，结合On-the-Fly SfM和局部与半全局优化策略，动态更新3DGS场。通过自适应学习率和负载均衡策略，优化新图像及其邻域区域。
关键结果
- 在多个基准数据集上，每张图像优化时间缩短至数秒，渲染质量与传统离线方法相当（PSNR提升至31.93 dB）。
- 相比GS-SLAM，渲染质量显著提升（SSIM从0.58提升至0.86），同时支持离散图像输入。
- 模型大小显著减小（平均减少约50%），训练效率提升（FPS提升至0.36）。
研究意义
该研究解决了传统3DGS离线训练无法支持实时场景扩展的问题，显著加速了图像捕获后场景优化的过程，推动了动态场景重建技术的发展。
技术贡献
提出了局部与半全局优化策略，动态调整学习率并引入负载均衡，显著提升训练效率；支持离散图像输入，扩展了3DGS的应用范围。
新颖性
首次实现动态扩展场景的近实时3DGS优化，突破了SLAM方法对时空连续性和深度传感器的依赖，适用于更广泛的场景。
局限性
- 对图像间重叠度有一定要求，低重叠场景可能影响优化效果。
- 目前仅支持单GPU运行，无法充分利用多GPU并行计算。
- 对大规模场景的训练效率仍有提升空间。
未来方向
未来可探索多GPU并行训练、低重叠图像优化策略，以及进一步提升大规模场景的训练效率。
AI 总览摘要
传统3DGS方法需要离线训练，无法支持实时场景扩展，这限制了其在动态场景中的应用。为解决这一问题，研究团队提出了On-the-Fly GS框架，通过结合On-the-Fly SfM和渐进式优化策略，实现了近实时的3DGS场景优化。
该方法在图像捕获过程中动态更新图像位姿和稀疏点云，并通过局部与半全局优化策略优先训练新图像及其邻域区域。自适应学习率和负载均衡策略进一步稳定了训练过程，显著提升了训练效率和渲染质量。
实验结果表明，该方法在多个基准数据集上表现优异，每张图像优化仅需数秒，渲染质量与离线方法相当，同时显著减少了模型大小和训练时间。这项研究为动态场景重建技术提供了新的解决方案，并扩展了3DGS的应用范围。
深度解读
原文摘要
3D Gaussian Splatting (3DGS) achieves high-fidelity rendering with fast real-time performance, but existing methods rely on offline training after full Structure-from-Motion (SfM) processing. In contrast, this work introduces Gaussian on-the-fly Splatting (abbreviated as On-the-Fly GS), a progressive framework enabling near real-time 3DGS optimization during image capture. As each image arrives, its pose and sparse points are updated via On-the-Fly SfM, and newly optimized Gaussians are immediately integrated into the 3DGS field. To achieve this, we propose a progressive Local & Semi-Global optimization to prioritize the new image and its neighbors by their corresponding overlapping relationship, allowing the new image and its overlapping images to get more training. To further stabilize training across previous and new images, an adaptive learning rate schedule balances the iterations and the learning rate. Extensive experiments on multiple benchmarks show that our On-the-Fly GS reduces training time significantly, optimizing each new image in seconds with minimal rendering loss, offering one of the first practical steps toward rapid, progressive 3DGS reconstruction.