MDND: Unsupervised Learning Guided by Non-Differentiable Refinement for Shape Correspondence

TL;DR

MDND结合可微与不可微方法,实现形状对应的无监督学习,显著提升非等距形状的匹配精度。

cs.CV 🔴 高级 2026-07-17 3 次浏览
Qinsong Li Jing Meng Haibo Wang Shengjun Liu
形状对应 深度学习 无监督学习 功能映射 非等距形状

核心发现

方法论

MDND采用双分支架构,结合可微与不可微方法。不可微分支利用多尺度迭代求解器生成高鲁棒性对应关系,作为精细化目标。可微分支从特征中预测对应关系,整个系统通过一致性损失进行无监督训练。

关键结果

  • 在非等距变形和拓扑噪声场景中,MDND在多个数据集上实现了新的最先进水平,平均地理误差显著降低。
  • 与ULRSSM和HybridFMaps等方法相比,MDND在处理复杂形状时表现出更高的准确性和一致性。
  • 消融实验表明,结合不可微精细化显著提升了初始预测的质量。

研究意义

MDND突破了传统深度功能映射框架对端到端可微性的依赖,首次将不可微精细化方法有效整合到深度学习中,显著提高了形状匹配的准确性,尤其是在处理复杂非等距形状时。

技术贡献

MDND引入了不可微精细化作为监督信号,打破了现有方法的局限,提供了新的理论保障和工程可能性,特别是在高效处理复杂形状匹配任务方面。

新颖性

MDND是第一个将不可微精细化方法整合到深度功能映射框架中的方法,突破了现有方法的可微性限制,显著提高了匹配精度。

局限性

  • 在处理极端复杂形状时,可能仍存在精度下降的问题,特别是在高频细节上。
  • 对高分辨率网格的内存需求较高,可能影响大规模应用。

未来方向

未来研究可以探索在更大规模和更复杂形状上的应用,以及进一步优化不可微精细化方法的效率和鲁棒性。

AI 总览摘要

形状对应是计算机视觉和图形学中的一个基本问题,现有方法在处理非等距形状时常常表现不佳。

MDND提出了一种新颖的深度功能映射框架,通过结合可微和不可微组件,实现了无监督学习。该方法采用双分支架构,其中不可微分支利用多尺度迭代求解器生成高鲁棒性对应关系,作为精细化目标,而可微分支则从特征中预测对应关系。

实验结果表明,MDND在多个数据集上实现了新的最先进水平,特别是在处理非等距变形和拓扑噪声场景时表现出色。尽管如此,未来的研究仍需解决在极端复杂形状上的应用挑战。

深度分析

研究背景

形状对应在计算机视觉和图形学中有广泛应用,如纹理传输、形状插值和动画等。尽管已有多种方法提出,但在处理非等距形状时仍存在挑战。

核心问题

现有深度功能映射框架依赖端到端可微性,限制了高精度不可微精细化技术的整合,导致在复杂形状上的性能受限。

核心创新

MDND通过结合可微与不可微方法,打破了现有框架的可微性限制,首次实现了不可微精细化在深度学习中的有效整合。

方法详解

  • �� 不可微分支:利用多尺度迭代求解器生成高鲁棒性对应关系。
  • �� 可微分支:从特征中预测对应关系。
  • �� 一致性损失:强制可微分支学习不可微分支的精细化结果。

实验设计

在多个数据集上进行实验,包括非等距变形和拓扑噪声场景,采用平均地理误差作为评估指标,与多种先进方法进行对比。

结果分析

MDND在多个数据集上实现了新的最先进水平,特别是在处理复杂形状时表现出色,显著降低了平均地理误差。

应用场景

MDND可用于纹理传输、形状插值和动画等领域,特别是在处理复杂非等距形状时具有显著优势。

局限与展望

尽管MDND在多个场景中表现出色,但在处理极端复杂形状时仍存在精度下降的问题,未来研究需进一步优化。

通俗解读 非专业人士也能看懂

想象你在厨房里做饭。MDND就像一个聪明的厨师助手,它能帮你把食材切得更精细,即使是那些形状奇怪的蔬菜。传统方法就像普通的菜刀,只能切简单的形状。而MDND则结合了普通菜刀和高级切割机的优点,能更好地处理复杂的食材形状。

简单解释 像给14岁少年讲一样

想象你在玩一个拼图游戏。MDND就像一个超级助手,能帮你快速找到那些形状奇怪的拼图块的位置。传统方法就像普通的拼图助手,只能处理简单的拼图块。而MDND结合了普通助手和高级助手的优点,能更好地处理复杂的拼图形状。

术语表

功能映射 (Functional Map)

一种将形状之间的对应关系表示为小矩阵的方法,通常在拉普拉斯-贝尔特拉米算子(LBO)的谱基上进行。

用于表示形状之间的对应关系。

非等距变形 (Non-Isometric Deformation)

指形状在变形过程中没有保持等距特性,导致形状的局部或整体结构发生变化。

MDND在处理这种变形时表现出色。

一致性损失 (Consistency Loss)

一种损失函数,用于强制不同分支的输出保持一致,从而提高模型的学习效果。

用于训练MDND的无监督学习。

多尺度迭代求解器 (Multiscale Iterative Solver)

一种用于生成高鲁棒性对应关系的算法,通过多次迭代优化提高精度。

MDND不可微分支的核心组件。

拉普拉斯-贝尔特拉米算子 (Laplace-Beltrami Operator)

一种用于计算形状的固有几何特性的算子,常用于功能映射的谱基。

用于构建功能映射的谱基。

开放问题 这项研究留下的未解疑问

  • 1 如何在极端复杂形状上进一步提高精度,现有方法在高频细节上仍有不足。
  • 2 如何降低高分辨率网格的内存需求,以便大规模应用。

应用场景

近期应用

纹理传输

MDND可用于将纹理从一个形状传输到另一个形状,特别是在复杂形状上表现出色。

远期愿景

动画制作

MDND可用于生成更自然的动画效果,特别是在处理复杂角色形状时。

原文摘要

Deep functional map frameworks (DFM) for shape correspondence are powerful, yet fundamentally limited by their reliance on end-to-end differentiability. This constraint prevents the integration of highly accurate, non-differentiable refinement techniques, capping their overall performance, especially on challenging non-isometric shapes. To overcome this, we introduce MDND, a novel DFM paradigm built on the principle of merging differentiable and non-differentiable components. Our framework facilitates unsupervised learning guided by an internal, non-differentiable refinement. Specifically, MDND employs a dual-branch architecture: a non-differentiable refinement branch leverages a novel, multiscale iterative solver to produce highly robust correspondences, acting as a refined target. Concurrently, a fully differentiable branch learns to predict correspondences from features. The entire system is trained end-to-end without supervision by enforcing a consistency loss that compels the differentiable branch to learn from the superior, refined results of the non-differentiable branch. Extensive experiments show that MDND sets a new state-of-the-art, demonstrating remarkable robustness on shapes with non-isometric deformations and topological noise.

cs.CV