LATO: 3D Mesh Flow Matching with Structured TOpology Preserving LAtents

TL;DR

LATO通过拓扑保持的稀疏体素VAE,生成高效且结构良好的3D网格。

cs.CV 🔴 高级 2026-03-06 31 次浏览
Tianhao Zhao Youjia Zhang Hang Long Jinshen Zhang Wenbing Li Yang Yang Gongbo Zhang Jozef Hladký Matthias Nießner Wei Yang
3D生成 拓扑保持 稀疏体素 VAE 流匹配

核心发现

方法论

LATO通过稀疏体素VAE将网格表示为顶点位移场(VDF),并采用两阶段流匹配生成拓扑结构。解码器逐步细分体素并预测顶点连接,直接重建网格拓扑。

关键结果

  • 结果1:在Chamfer距离上,LATO在密集网格和艺术网格上分别达到了0.043和0.044的最低值,相比MeshGPT和MeshCraft等方法提升了约20%。
  • 结果2:LATO在法线一致性(NC)上表现最佳,密集网格和艺术网格分别达到0.832和0.835,优于所有基线方法。
  • 结果3:推理效率显著提升,生成时间仅需3-10秒,而自回归方法通常需数分钟。

研究意义

LATO解决了现有方法中拓扑信息丢失的问题,能够生成适合下游任务(如动画绑定和游戏引擎)的艺术友好型网格。这一方法对3D生成领域具有重要意义,尤其是在虚拟现实和工业设计等应用中。

技术贡献

LATO首次将拓扑保持特性引入3D网格生成,提出了T-Voxels稀疏体素表示,结合流匹配技术实现了高效的拓扑生成。相比现有方法,LATO避免了等值面提取和启发式网格化的复杂性。

新颖性

LATO的创新在于直接从稀疏体素生成显式网格拓扑,避免了传统隐式场方法的密集三角化问题,并通过流匹配显著提高了生成效率。

局限性

  • 局限1:对非流形几何的支持仍需进一步验证,可能在复杂场景中表现有限。
  • 局限2:对高分辨率网格的生成可能需要更高的计算资源。
  • 局限3:目前的训练数据仍依赖于特定数据集,可能限制泛化能力。

未来方向

未来工作可包括扩展到更复杂的非流形几何、优化计算效率,以及探索更广泛的应用场景,如医学图像和建筑设计。

AI 总览摘要

LATO是一种新型的3D网格生成方法,旨在解决现有方法中拓扑信息丢失的问题。传统方法通常依赖隐式场表示,如签名距离函数(SDF)或占据场,通过等值面提取生成网格。然而,这些方法生成的网格往往过于密集且拓扑结构不规则,难以满足动画绑定或游戏引擎的需求。

LATO通过稀疏体素VAE将网格表示为顶点位移场(VDF),并采用两阶段流匹配策略生成拓扑结构。首先,LATO合成稀疏体素结构,然后通过逐步细分和剪枝生成精确的顶点位置,同时预测顶点之间的连接关系。与现有方法相比,LATO生成的网格在几何复杂性和拓扑完整性方面表现优异,同时推理效率显著提升。

实验表明,LATO在Chamfer距离和法线一致性等指标上均优于当前最先进的基线方法。此外,其生成的网格具有良好的拓扑结构,适合直接用于下游应用。然而,LATO在处理非流形几何和高分辨率网格时仍有改进空间。未来的研究方向包括优化计算效率、扩展应用场景以及进一步提升泛化能力。

深度分析

研究背景

近年来,3D生成技术在虚拟现实、游戏开发和工业设计等领域得到了广泛应用。传统方法多依赖隐式场表示,如签名距离函数(SDF)和占据场,并通过等值面提取算法生成网格。然而,这些方法通常无法直接生成显式的网格拓扑,导致生成的网格过于密集且不规则,难以满足实际应用需求。

核心问题

现有方法在生成3D网格时,通常忽略拓扑信息,导致生成的网格不适合下游任务(如动画绑定和变形)。此外,隐式场方法对数据的“水密性”有严格要求,限制了其对开放表面和非流形几何的支持。

核心创新

LATO的核心创新包括:

  • �� 提出T-Voxels稀疏体素表示,直接编码网格顶点的空间分布和连接关系。
  • �� 采用两阶段流匹配策略,分别生成几何结构和拓扑特征。
  • �� 解码器通过逐步细分和剪枝机制生成精确的顶点位置,并预测顶点连接关系。

方法详解

LATO的实现包括以下关键步骤:

  • �� 使用顶点位移场(VDF)表示网格,通过稀疏体素VAE压缩为T-Voxels。
  • �� 解码器逐步细分体素并通过剪枝机制生成顶点位置。
  • �� 连接头直接预测顶点对之间的连接关系。
  • �� 采用两阶段流匹配策略,先生成稀疏体素结构,再细化拓扑特征。

实验设计

实验在艺术网格数据集(G-Objaverse, Toys4K, ShapeNet)和密集网格数据集(TRELLIS生成)上进行。评估指标包括Chamfer距离、Hausdorff距离和法线一致性。基线方法包括MeshGPT、MeshCraft等。

结果分析

LATO在Chamfer距离上取得了0.043/0.044的最低值,在法线一致性上达到0.832/0.835,显著优于基线方法。此外,其推理时间仅需3-10秒,远快于自回归方法。

应用场景

LATO适用于虚拟现实、游戏开发和工业设计等领域,尤其是在需要高质量网格拓扑的场景中,如动画绑定和非流形几何建模。

局限与展望

LATO在处理非流形几何和高分辨率网格时仍有改进空间。此外,其对计算资源的需求较高,可能限制其在资源受限环境中的应用。

通俗解读 非专业人士也能看懂

想象你在搭建乐高积木。传统方法像是用一块大泥巴捏出一个形状,但你无法知道里面的结构如何。LATO就像是一个聪明的助手,它会先帮你搭好一个大致的框架,然后再细致地把每块积木放到合适的位置,最后还会帮你检查每块积木之间是否连接正确。

简单解释 像给14岁少年讲一样

想象你在玩Minecraft,你想建一个城堡。普通方法就像是用一大块泥土快速堆出一个形状,但里面可能是空的,或者有奇怪的洞。LATO就像是一个超强的建筑助手,它会先帮你搭好城堡的骨架,然后一块一块地把砖头放好,最后还会检查每块砖之间有没有连接好。是不是很酷?

术语表

Vertex Displacement Field (顶点位移场)

一种表示网格顶点相对于表面点位移的场,用于编码几何和拓扑信息。

用于生成T-Voxels稀疏体素。

T-Voxels (拓扑体素)

一种稀疏体素表示,直接编码网格顶点的空间分布和连接关系。

作为LATO的核心拓扑表示。

Sparse Voxel VAE (稀疏体素变分自编码器)

一种用于压缩和解码拓扑特征的生成模型。

用于生成T-Voxels并预测网格拓扑。

Flow Matching (流匹配)

一种生成策略,通过逐步优化生成稀疏体素和拓扑特征。

用于LATO的两阶段生成过程。

Chamfer Distance (Chamfer距离)

一种评估生成网格与真实网格几何相似性的指标。

用于评估LATO生成质量。

开放问题 这项研究留下的未解疑问

  • 1 如何进一步优化LATO以支持更高分辨率的网格生成?
  • 2 能否通过改进算法减少对计算资源的需求?
  • 3 如何扩展LATO以支持更多样化的非流形几何?

应用场景

近期应用

虚拟现实内容生成

LATO可用于生成高质量的虚拟现实场景,特别是在需要复杂几何和拓扑的环境中。

游戏开发

LATO生成的网格适合直接用于游戏引擎,减少后期处理需求。

远期愿景

医学图像建模

LATO可用于生成复杂的医学3D模型,支持手术规划和医学研究。

原文摘要

In this paper, we introduce LATO, a novel topology-preserving latent representation that enables scalable, flow matching-based synthesis of explicit 3D meshes. LATO represents a mesh as a Vertex Displacement Field (VDF) anchored on surface, incorporating a sparse voxel Variational Autoencoder (VAE) to compress this explicit signal into a structured, topology-aware voxel latent. To decapsulate the mesh, the VAE decoder progressively subdivides and prunes latent voxels to instantiate precise vertex locations. In the end, a dedicated connection head queries the voxel latent to predict edge connectivity between vertex pairs directly, allowing mesh topology to be recovered without isosurface extraction or heuristic meshing. For generative modeling, LATO adopts a two-stage flow matching process, first synthesizing the structure voxels and subsequently refining the voxel-wise topology features. Compared to prior isosurface/triangle-based diffusion models and autoregressive generation approaches, LATO generates meshes with complex geometry, well-formed topology while being highly efficient in inference.

cs.CV