Adaptive Coordinate Transforms for Neural Operators

TL;DR

提出自适应坐标变换(ACT)模块,提升神经算子在动态结构追踪中的表现。

cs.CE 🔴 高级 2026-05-07 53 次浏览
Chaoyu Liu Zhonghao Li Gaohang Chen Zakhar Shumaylov Zhongying Deng Qian Zhang Zhonghua Qiao Carola-Bibiane Schönlieb
神经算子 坐标变换 偏微分方程 深度学习 几何适应

核心发现

方法论

该研究引入可插拔的ACT模块,通过学习输入特征的坐标变换,实现数据驱动的几何重整。具体包括偏移预测、可微采样和特征融合三个步骤。ACT在多种神经算子架构(如FNO、CNextU、Transolver)中层层嵌入,动态调整特征空间,减轻空间错位,提高模型对复杂动态结构的捕获能力。利用残差和多头机制,确保变换的稳定性与多样性。

关键结果

  • 在六个PDE基准任务中,加入ACT后模型预测误差显著降低,平均误差降低幅度达30%以上。例如,在Navier-Stokes数据集上,FNO+ACT的NRMSE从2.22%降至0.62%,提升了约72%。在多架构、多任务环境中,误差改善持续稳定,验证了ACT的普适性和有效性。
  • 通过逐层分析发现,中间ACT模块主要实现结构追踪,减缓空间错位累积;末端ACT则通过Jacobian调节,强化锐利边界的恢复,整体提升模型对高频信息的表达能力。
  • 消融实验显示,单纯增加参数或在最后一层加入ACT效果有限,层层嵌入的策略显著优于其他方案,说明几何重整在复杂动力学建模中的关键作用。

研究意义

该研究突破了神经算子在固定欧拉坐标下的局限,将经典的自适应坐标变换思想引入深度学习框架,有效缓解空间错位和光滑偏好问题。其创新机制显著提升了模型在复杂流体、反应扩散等多物理场景中的预测精度,为科学计算和工程模拟提供了更强的工具。长远来看,动态几何适应为深度学习在动力学系统中的应用打开了新路径,推动模型向更高的泛化能力和物理一致性迈进。

技术贡献

本研究提出的ACT模块实现了层级式的几何重整,结合偏移预测、可微采样与残差融合,创新性地将经典的自适应变换机制融入神经算子架构。不同于传统的全局变换或预处理,ACT在每一层动态调整特征空间,有效降低非局部映射复杂度,增强模型对局部高频信息的捕获能力。该设计兼容多种架构,极大扩展了神经算子的适用范围和表达能力,为未来深度物理建模提供了新思路。

新颖性

这是首次将经典的自适应坐标变换机制系统性地引入神经算子学习中,通过层层嵌入实现动态几何适应,突破了固定坐标限制。与现有方法主要依赖全局谱或局部卷积不同,ACT实现了局部、可学习的几何调节,显著改善了模型对复杂动态结构的追踪能力,具有高度创新性。

局限性

  • ACT模块在极端高频或极端非线性场景中仍可能面临变换预测不准确的问题,尤其在数据噪声较大或边界条件复杂时表现有限。
  • 引入坐标变换增加了训练复杂度和计算成本,尤其在高维空间中,实时性和可扩展性仍需优化。
  • 当前方法主要在二维和三维场景验证,跨尺度和多模态场景的适应性尚待进一步研究。

未来方向

未来将探索更高效的偏移预测机制,结合物理约束增强变换的稳定性。同时,计划扩展到多尺度、多物理场的复杂系统中,结合强化学习优化变换策略,提升模型的泛化能力和鲁棒性。此外,将研究自适应变换在实际工程中的集成应用,如气候模拟、流体控制等领域。

AI 总览摘要

神经算子在偏微分方程(PDE)建模中展现出巨大潜力,但其在固定欧拉坐标体系下存在空间错位和光滑偏好限制,影响复杂结构的捕获能力。本文提出一种创新的自适应坐标变换(ACT)模块,作为神经算子架构的可插拔组件,通过学习偏移场实现动态几何重整。该机制借鉴经典的ALE和移动网格技术,结合深度学习的偏移预测和可微采样,层层嵌入模型中,有效缓解空间错位,提升对高频边界和锐利结构的表达能力。实验在六个多物理场景中验证了其优越性,模型误差平均降低30%以上,特别是在Navier-Stokes和反应扩散任务中表现突出。通过逐层分析发现,中间ACT模块主要实现结构追踪,末端ACT则强化锐利边界的恢复,体现出层级分工。该方法突破了传统固定坐标的限制,为深度学习在复杂动力学系统中的应用提供了新思路。未来,结合物理约束和多尺度策略,ACT有望在气候模拟、流体控制等实际工程中发挥更大作用,推动深度物理建模迈向更高的精度和泛化能力。

深度分析

研究背景

神经算子近年来在偏微分方程(PDE)模拟中取得显著进展,如Fourier Neural Operator(FNO)、CNextU和Transolver等架构,已成为科学计算的核心工具。这些模型通过学习输入输出场的映射,极大提高了模拟效率。然而,它们普遍基于固定欧拉坐标系,难以适应动态结构的演变,导致空间错位和非局部映射问题。传统的数值方法通过自适应网格和变换技术缓解此类问题,但在深度学习中尚未充分融合。近年来,部分研究尝试引入可学习的变形场或非规则域参数化,但多集中在预处理或离线优化,缺乏层级式的几何调节机制。本文借鉴经典的ALE和移动网格思想,提出动态几何重整的深度学习方案,旨在解决神经算子在复杂动态场景中的局限。

核心问题

现有神经算子模型在处理具有强空间迁移和锐利边界的复杂物理场时表现不足。固定坐标系导致模型难以捕获结构演变,增加了映射的复杂度和非局部性,限制了泛化能力。此外,模型偏向平滑,难以准确模拟冲击波、边界层等高频现象。如何在深度学习框架中引入动态几何调节,既保持模型的表达能力,又减轻空间错位,是亟待解决的核心问题。这不仅关系到模型的预测精度,也影响其在实际工程中的应用效果。

核心创新

本研究的核心创新在于引入层级式的自适应坐标变换(ACT)机制,结合偏移预测、可微采样和残差融合,动态调整特征空间。不同于传统的全局变换或预处理,ACT在每一层实现局部、可学习的几何重整,有效缓解空间错位,提升高频信息捕获能力。其设计灵感源自经典的ALE和移动网格技术,结合深度学习的偏移预测机制,形成了兼容多架构的通用模块。该机制不仅改善了模型的表达能力,还为复杂动力学模拟提供了新的工具,推动深度物理建模向更高精度和泛化能力迈进。

方法详解

  • �� 设计偏移预测器:利用多尺度卷积模块,输入特征和位置编码,预测局部偏移场。
  • �� 采样重整:根据偏移场,定义采样网格,利用可微采样操作重新采样特征。
  • �� 特征融合:将重采样后的特征与原始特征残差相加,确保变换的稳定性。
  • �� 层级嵌入:在每一层神经算子中插入ACT模块,实现逐层几何调节。
  • �� 物理边界:引入边界条件映射,避免边界伪影,确保物理一致性。
  • �� 训练优化:端到端训练,加入正则化项,控制偏移幅度,保证变换平滑。
  • �� 结合经典技术:借鉴ALE、移动网格思想,优化偏移预测和采样策略。

实验设计

采用六个代表性PDE数据集(Navier-Stokes、Diff_Reaction、Shallow_Water、Active_Matter、TRL_2D、MHD_64),比较基础架构(FNO、CNextU、Transolver)在加入ACT前后的性能差异。指标为NRMSE,训练采用Adam优化,超参数保持一致。通过消融实验验证逐层嵌入的效果,分析偏移预测的准确性和边界处理策略的影响。模型复杂度和训练时间也被详细记录,确保公平性。

结果分析

加入ACT后,所有架构在六个数据集上的误差均显著降低,平均误差改善超过30%。例如,FNO在Navier-Stokes上NRMSE由2.22%降至0.62%,提升约72%。Transolver误差降低幅度最大,达76%。逐层分析显示,中间ACT模块主要实现结构追踪,末端ACT则强化锐利边界的恢复。消融实验表明,层层嵌入优于单点或末端加入,验证几何重整的关键作用。这些结果充分证明ACT的普适性和有效性。

应用场景

该方法适用于气候模拟、流体动力学、结构分析等领域,尤其在需要捕获复杂边界和高速结构演变的场景中表现优越。模型可集成到现有数值模拟框架中,提升预测精度和效率。未来还可结合物理约束和多尺度策略,推动深度学习在工程实际中的应用,实现智能化、自动化的动力学模拟。

局限与展望

当前ACT模块在极端高频或噪声较大的场景中仍可能出现偏移预测不准确的问题,且引入的计算成本较高,限制了实时应用。此外,跨尺度、多模态场景的适应性尚未充分验证,未来需优化偏移预测的鲁棒性和效率。

通俗解读 非专业人士也能看懂

想象你在厨房里做菜,食材不断变化,锅里的汤在翻滚。如果用一种固定的视角观察,可能会错过一些重要的细节,比如汤的泡泡和油花。为了更好地理解这些变化,你可以调整观察角度,把锅倾斜或拉近。这个调整就像论文中的ACT模块,它能让模型“换个角度”看问题,跟上汤的变化,捕捉到更多细节。这样,模型就能更准确地预测未来的汤面状态,就像厨师能更快掌握火候一样。这个方法让模型变得更聪明,能应对复杂、不断变化的场景,就像我们用不同的视角看待厨房里的美味佳肴一样。

简单解释 像给14岁少年讲一样

想象你在玩一个超级复杂的游戏,里面的角色不停地跑来跑去,场景也在不断变化。如果你一直用固定的镜头看,可能会错过一些重要的细节,比如角色的动作或隐藏的线索。于是,你可以调整镜头角度,跟着角色跑,或者拉近看细节。这就像论文里的ACT技术,它让电脑模型也能自己“换个角度”观察问题,跟上场景的变化。这样,模型就能更快、更准地预测未来的场景,就像你用灵活的镜头玩游戏一样。这个方法让电脑变得更聪明,能应对复杂多变的世界,就像你在游戏中变成了超级玩家!

原文摘要

Neural operators have achieved promising performance on partial differential equations (PDEs), but most existing models are built on fixed Eulerian coordinates. This mismatch between evolving physical structures and static coordinates creates spatial misalignment, leading to unnecessarily non-local operator mappings and reinforcing a smoothness preference near sharp transitions. Inspired by adaptive coordinate transformations in classical PDE analysis, we propose the Adaptive Coordinate Transform (ACT) block, a plug-and-play module for data-driven geometric adaptation in neural operators. ACT blocks resolve this structural limitation by learning adaptive coordinate systems within the operator learning pipeline. Specifically, given an input feature, the ACT block learns a coordinate transformation and represents the same feature under the transformed coordinates via differentiable sampling. This operation preserves the underlying signal while changing its spatial representation, equivalent to expressing the same physical quantity in different coordinate systems. By adapting the coordinate system to the data, ACT allows the network to better track evolving structures, reduce operator complexity, and dynamically focus on critical features to improve learning. We evaluate the proposed approach across diverse PDE benchmarks and multiple neural operator architectures. Experimental results demonstrate consistent and significant improvements in predictive accuracy, indicating that learning coordinate systems provides a powerful mechanism for enhancing operator learning.

cs.CE