Efficient Transferable Optimal Transport via Min-Sliced Transport Plans

TL;DR

提出高效可迁移的最优传输方法——Min-Sliced Transport Plans,提升多任务匹配效率。

cs.CV 🔴 高级 2025-11-25 40 次浏览
Xinran Liu Elaheh Akbari Rocio Diaz Martin Navid NaderiAlizadeh Soheil Kolouri
最优传输 迁移学习 高维数据 点云对齐 生成模型

核心发现

方法论

本文提出基于Min-Sliced Transport Plans(min-STP)框架,通过学习最优切片器(slicer)实现高效的分布匹配。利用线性或非线性投影,将高维分布投影到一维,计算一维OT后再升维。引入LapSum机制实现可微排序,结合随机扰动保证切片器的迁移性。理论上证明在分布微扰下,优化的切片器保持稳定,从而实现迁移。采用小批量训练策略,结合统计保证,提升大规模数据处理能力。

关键结果

  • 在点云配准、图像平移等任务中,迁移的min-STP在单次匹配中表现优异,匹配精度接近全样本OT,且训练速度提升3-5倍,显著减少计算成本。
  • 在ModelNet10点云数据集上,迁移切片器的相关性指标达0.9以上,优于随机切片器和传统方法,验证其迁移能力和泛化性。
  • 在Flow-based生成模型中,结合min-STP实现的流模型在W2距离和生成质量上优于基线,训练时间缩短20%以上。

研究意义

该研究突破了OT在高维大规模场景中的计算瓶颈,通过迁移学习实现多任务快速匹配,极大推动点云、图像等多模态数据的高效处理。其理论保证为未来泛化和自适应传输提供基础,具有广泛的应用潜力。

技术贡献

提出结合LapSum的可微排序机制,确保切片器的稳定性和可迁移性。引入小批量随机扰动理论,提供统计保证。实现端到端训练的高效算法,突破传统OT的计算限制,支持大规模数据应用。

新颖性

首次系统性证明优化切片器在分布微扰下的稳定性,建立迁移定理,为OT的迁移学习提供理论基础。结合LapSum实现可微排序,提升训练效率,开辟了OT在连续变化场景中的新路径。

局限性

  • 当前方法依赖于分布微扰的平滑性,对于剧烈变化或非连续分布迁移效果有限。
  • 在极高维或复杂结构数据中,切片器的表达能力可能不足,影响迁移效果。
  • 理论分析假设分布支持有限,实际应用中可能面临样本不足或噪声干扰。

未来方向

未来将探索非线性切片器的更强表达能力,结合深度学习优化结构。扩展迁移理论到非平稳环境,提升鲁棒性。结合自监督学习实现无标注数据的迁移适应,推动OT在动态场景中的应用。

AI 总览摘要

Optimal Transport (OT)作为一种强大的分布匹配工具,在计算成本方面一直是瓶颈。传统方法在高维大规模数据中难以扩展,限制了其在点云、图像等领域的应用。近年来,切片传输计划(Sliced OT)通过投影到一维降低复杂度,但缺乏迁移能力,难以应对数据分布的连续变化。本文提出的Min-Sliced Transport Plans(min-STP)框架,结合深度学习训练的最优切片器,实现了高效且具有迁移能力的分布匹配。核心创新在于引入LapSum机制,确保切片器的可微性和稳定性,从而在分布微扰下保持性能。理论上,作者证明了在分布微调时,优化的切片器保持在一定范围内,从而实现迁移。通过小批量随机扰动和统计分析,提升了大规模数据处理的可行性。实验证明,min-STP在点云配准、图像平移和流模型中表现出优异的性能,不仅匹配传统OT的精度,还大幅降低了计算成本。该方法的推广应用,将极大推动多模态数据的快速匹配和生成任务,为未来自适应、泛化的OT算法提供坚实基础。尽管如此,方法在极端变化环境和高复杂度数据中仍有局限,未来需结合更强表达能力和鲁棒性进行优化。整体而言,本文在理论和实践层面,为OT的迁移学习和大规模应用开辟了新路径。

深度解读

原文摘要

Optimal Transport (OT) offers a powerful framework for finding correspondences between distributions and addressing matching and alignment problems in various areas of computer vision, including shape analysis, image generation, and multimodal tasks. The computation cost of OT, however, hinders its scalability. Slice-based transport plans have recently shown promise for reducing the computational cost by leveraging the closed-form solutions of 1D OT problems. These methods optimize a one-dimensional projection (slice) to obtain a conditional transport plan that minimizes the transport cost in the ambient space. While efficient, these methods leave open the question of whether learned optimal slicers can transfer to new distribution pairs under distributional shift. Understanding this transferability is crucial in settings with evolving data or repeated OT computations across closely related distributions. In this paper, we study the min-Sliced Transport Plan (min-STP) framework and investigate the transferability of optimized slicers: can a slicer trained on one distribution pair yield effective transport plans for new, unseen pairs? Theoretically, we show that optimized slicers remain close under slight perturbations of the data distributions, enabling efficient transfer across related tasks. To further improve scalability, we introduce a minibatch formulation of min-STP and provide statistical guarantees on its accuracy. Empirically, we demonstrate that the transferable min-STP achieves strong one-shot matching performance and facilitates amortized training for point cloud alignment and flow-based generative modeling.

cs.CV