SplashSplat: Reconstructing Splashing Liquids from Real-World Multi-View Videos

TL;DR

SplashSplat方法通过多视角视频重建液体飞溅,提供更低训练成本和更高物理合理性。

cs.CV 🔴 高级 2026-09-18 15 次浏览
Peiyu Liu Dingxi Zhang Federico Tombari Marc Pollefeys Christina Tsalicoglou Daniel Barath
液体重建 多视角视频 物理建模 动态高斯点 计算机视觉

核心发现

方法论

SplashSplat方法通过融合多视角液体掩码生成每帧液体的SDF,使用水平集传输生成粗略速度场,并通过拉格朗日载体沿流动进行修正和重新采样,解码局部高斯进行可微渲染。

关键结果

  • SplashSplat在真实数据和NeuroFluid合成基准上表现优于现有动态高斯点方法,物理运动更合理,训练成本更低。
  • 在20个场景中,SplashSplat在PSNR、SSIM和LPIPS指标上均优于基线方法。
  • 实验表明SplashSplat在物理合理性和渲染质量之间取得了更好的平衡。

研究意义

该研究为液体飞溅的重建提供了新的方法,填补了多视角同步视频数据集的空白,并在物理合理性和计算效率方面优于现有方法。

技术贡献

SplashSplat通过仅在观测可约束的地方施加物理结构,避免了传统流体求解器的边界条件问题,提供了一种新的流体运动建模方式。

新颖性

SplashSplat首次在真实多视角视频中实现了液体飞溅的重建,突破了传统方法在处理弱纹理液体时的局限。

局限性

  • 该方法在处理透明容器中的液体时,折射效应可能导致重建误差。
  • 在极端快速运动的场景中,速度场的估计可能不够准确。

未来方向

未来工作可包括改进透明容器场景的重建精度,以及扩展方法以处理更复杂的流体动力学场景。

AI 总览摘要

液体飞溅的重建一直是计算机视觉和图形学的挑战。现有方法多集中于烟雾或合成液体,缺乏真实数据集支持。SplashSplat通过引入一个包含20个场景的多视角同步视频基准,填补了这一空白。

SplashSplat方法的核心在于仅在观测可约束的地方施加物理结构。通过融合多视角掩码生成液体的SDF,使用水平集传输生成粗略速度场,并通过拉格朗日载体沿流动进行修正和重新采样,解码局部高斯进行可微渲染。

实验结果表明,SplashSplat在真实数据和合成基准上均优于现有动态高斯点方法,物理运动更合理,训练成本更低。这一方法不仅提高了液体重建的精度,还为未来的流体模拟和视觉特效提供了新的可能性。

深度分析

研究背景

液体重建在视觉特效和流体模拟中具有重要应用。然而,由于液体外观依赖视角且纹理较弱,传统方法难以处理。现有研究多集中于烟雾或合成液体,缺乏真实数据集。

核心问题

液体飞溅的重建面临多视角数据缺乏、纹理弱、几何变化快等挑战。准确捕捉这些动态变化对视觉特效和流体模拟至关重要。

核心创新

SplashSplat通过引入多视角同步视频数据集,结合物理建模和可微渲染,实现了对液体飞溅的高精度重建。其创新在于仅在观测可约束的地方施加物理结构。

方法详解

  • �� 融合多视角液体掩码生成每帧液体的SDF。
  • �� 使用水平集传输生成粗略速度场。
  • �� 拉格朗日载体沿流动进行修正和重新采样。
  • �� 解码局部高斯进行可微渲染。

实验设计

实验使用20个真实场景和NeuroFluid合成基准进行评估。基线方法包括Deformable-3DGS、SpacetimeGaussians和4D-Scaffold-GS。评估指标包括PSNR、SSIM、LPIPS等。

结果分析

SplashSplat在PSNR、SSIM和LPIPS指标上均优于基线方法,尤其在物理合理性和渲染质量之间取得了更好的平衡。

应用场景

该方法可用于视觉特效中的液体模拟,以及流体力学研究中的数据验证和动态资产生成。

局限与展望

该方法在处理透明容器中的液体时,折射效应可能导致重建误差。此外,在极端快速运动的场景中,速度场的估计可能不够准确。

通俗解读 非专业人士也能看懂

想象一个厨房里倒水的场景。SplashSplat就像一个超级相机,可以从多个角度同时拍摄水的飞溅。然后,它通过分析这些图像,重建出水的运动轨迹,就像一个聪明的厨师能记住每滴水的去向。这个方法不仅能让我们看到水的飞溅,还能帮助我们理解水的运动方式。

简单解释 像给14岁少年讲一样

想象你在玩一个超级酷的水枪游戏,水花四溅。SplashSplat就像一个超强的摄像机,可以从不同角度同时拍摄这些水花。然后,它就像一个聪明的游戏设计师,把这些画面拼在一起,重现水花的每一个细节。是不是很酷?这不仅让游戏更真实,还能帮你设计更炫的水枪特效!

术语表

SDF (签名距离场)

一种表示物体几何形状的方法,通过计算点到物体表面的距离来描述。

用于生成每帧液体的几何形状。

Lagrangian carriers (拉格朗日载体)

用于追踪流体运动的小单元,能够沿流动进行修正和重新采样。

在SplashSplat中用于解码局部高斯。

Gaussian splatting (高斯点)

一种渲染技术,通过高斯函数模拟物体的光学特性。

用于SplashSplat的可微渲染。

Level-set transport (水平集传输)

一种用于追踪界面运动的方法,通过水平集方程描述。

用于生成粗略速度场。

Differentiable rendering (可微渲染)

一种渲染技术,允许对图像生成过程进行微分,以优化模型参数。

用于SplashSplat的渲染过程。

开放问题 这项研究留下的未解疑问

  • 1 如何在处理透明容器中的液体时减少折射误差?
  • 2 如何提高极端快速运动场景中的速度场估计精度?

应用场景

近期应用

视觉特效

通过SplashSplat重建液体飞溅,提高电影和游戏中的水特效真实性。

远期愿景

流体力学研究

为流体模拟提供更精确的数据验证,推动流体力学研究进展。

原文摘要

A splash lives for a fraction of a second: sheets tear into ligaments and droplets, appearance is view-dependent and nearly textureless, and little persists long enough to track. Reconstruction research has consequently focused on smoke, synthetic liquids, or gently deforming surfaces. To our knowledge, no synchronized multi-view dataset of splashing liquids exists. We therefore introduce a benchmark of 20 real scenes, from coherent streams to violent splashes, captured by seven synchronized, calibrated 4K cameras at 60 fps, with manually refined per-view liquid and container masks and fixed evaluation splits. We further present SplashSplat, built on a single principle: impose physical structure only where the observations can constrain it. Per-frame liquid SDFs fused from the masks provide the geometry, level-set transport between consecutive SDFs yields a coarse velocity field, and Lagrangian carriers advected along this flow, corrected against each new observation and reseeded where coverage is lost, decode local Gaussians for differentiable rendering. SplashSplat outperforms state-of-the-art dynamic Gaussian splatting methods on our real captures and on a synthetic benchmark, with physically more plausible motion and a lower training cost. The same representation supports temporal interpolation and style transfer without re-optimization.

cs.CV cs.GR